生于乌克兰克里米亚州叶夫帕托利亚市，1927年九年级毕业后在基洛夫州科捷利尼奇市地区联合日用百货仓库当包装工，1930年开始在共青团工作，任工业联合企业组织书记。1932年5月29日被团组织推荐入伍进高尔基装甲兵学校，1934年11月毕业后分配到西伯利亚军区29步兵师担任排长。1937年入党。

1938年任远东方面军39军第2机械化旅坦克连长时参加哈桑湖战役，时年27岁，给日本帝国主义迎头痛击。获军功章，战后升独立坦克营营长。伟大卫国战争时期，1941年6-9月在西方面军担任坦克团参谋长，1941年10月起任卡累利阿方面军装甲坦克兵局处长助理，1942年4月任处长，6月任局参谋长，1943年1月任方面军装甲机械化部队局参谋长，9月9日授上校，1944年3月任该方面军32集团军装甲坦克和机械化兵司令，参加了保卫和解放苏联北极地区的作战，表现勇敢，并在指挥坦克部队方面显示了高超的才干，深得方面军司令基里尔·阿法纳西耶维奇·梅列茨科夫元帅赏识。

45年9月进装甲兵学院学习。1947年11月毕业后任坦克团长。1948年5月任坦克师参谋长，1949年12月进总参军事学院，1952年1月毕业后任机械化师师长，1953年8月3日授坦克兵少将，1954年12月任集团军参谋长，1958年3月任集团军司令，1959年5月25日授中将军衔，1960年1月任莫斯科军区第一副司令兼参谋长，1964年4月13日授上将，7月任列宁格勒军区第一副司令，1965年10月任司令，1967年4月12日授大将并担任苏联国防部第一副部长，开始在苏联军事领域发挥至关重要的作用。他具备丰富的实践经验和精湛的军事知识，为提高苏军的作战水平、研制致命武器、完善各军兵种，作出了重大贡献，于1978年2月17日晋升为苏联元帅。乌斯季诺夫任国防部长期间基本上依重他的军事指挥经验。1979年12月27日起作为前敌总指挥随苏军土耳其斯坦军区40集团军108师进入阿富汗，从此担任苏联国防部驻阿富汗作战指挥组组长直到1984年12月，索的幼子同时也在40集团军一线队伍中作战。1980年4月28日，索科洛夫因在指挥出兵阿富汗的作战行动中表现勇敢坚决，加上平时个人无私忘我的工作，而获得苏联英雄称号。1984年接替逝世的乌斯季诺夫担任国防部长这一崇高职位。

1987年5月28日，发生了西德冒险家鲁斯特驾机闯红场事件，5月30日，苏共中央总书记戈尔巴乔夫借此将索科洛夫、苏联国防部副部长兼防空军总司令科尔杜诺夫空军主帅、国防部副部长卢舍夫大将等10名将军和其余298名校尉军官撤职。解职后被授予荣誉武器——手枪1把。1987年成为国防部总监察组总监，1992年9月成为俄罗斯国防部长特别顾问。1968-1991年为苏共中央委员。克里木半岛立有他的半身铜像。 此外，索科洛夫也是活到21世纪的前苏联军官中年龄最大的一位。 2012年8月31日，苏联元帅谢尔盖·索科洛夫在莫斯科因病去世，享年101岁，葬在红场克里姆林宫宫墙下，成为继乌斯季诺夫元帅以后最后一位葬于此的苏联国防部长。俄军政高层及俄共主席久加诺夫均有出席。

受嘉奖情况:1枚苏联英雄金星奖章，3枚列宁勋章，2枚红旗勋章，1枚一级苏沃洛夫勋章，1枚伟大卫国战争一级勋章，2枚红星勋章，1枚“苏联武装力量为祖国服务”三级勋章，18枚奖章（其中包括保卫极圈地区奖章），以及35枚国外奖章勋章。1995年俄罗斯总统颁发给他1枚俄罗斯朱可夫勋章。