930年参加中国工农红军，同年9月起任红军十八纵队司令部勤务员、司号员，11月起任红五师二团号长兼青年干事，红五师政治部宣传员。

1931年10月起在红军医院休养。

1932年1月起任红军第一后方医院司号员，青年干事。1932年8月起任红一军团政治部抚恤干事，破坏干事，宣传员。

1934年6月起任红一军团一师政治部宣传队长。参加了 长征。

1935年9月起任红一军团十三团三连指导员。

1937年任红一军团一师三团教导员。

抗日战争爆发后，任八路军第一一五师三四三旅营政治教导员。

1939年4月起任冀察热挺进军第三十二团总支书记。

1940年3月起任挺进军第三十三团（后改七团）政治处主任。

1941年11月起任 晋察冀七团政治委员。

1943年9月起任 晋察冀军区第十一军分区副政治委员兼政治部主任。解放战争时期，

1945年8月起任晋察冀野战军冀察纵队七旅副政治委员。

1946年6月至1949年2月任晋察冀野战军、华北军区第二纵队五旅政治委员。

1949年2月起任中国人民解放军第六十七军一九九师师长兼政治委员。

中华人民共和国成立后，1949年12月至1951年7月任 陆军第六十七军一九九师师长。

1951年7月起任陆军第六十七军副军长。

1951年至1952年任中国人民志愿军第六十七军副军长。

1952年7月至1954年在解放军军事学院速成系学习。

1955年3月至1968年1月任陆军 军长。

1968年1月至1970年6月任济南军区副司令员、军区党委常委（1968年4月起）。

1970年6月至1975年9月任第一机械工业部革委会主任、部长，党的核心小组组长。

1975年8月至1977年9月任南京军区副司令员、军区党委常委。

1977年8月至1982年9月任中共中央军委委员。

1977年9月至1982年11月任第二炮兵司令员、第二炮兵党委第一书记（1977年11月起）。

李水清，8岁就给地主放牛。1930年，红军到了李水清家乡，13岁的李水清参加了红军，他参加了连队100余人，仅有十几支枪，其余是梭镖和大刀，李水清因年纪小，连大刀也没有。

抗日战争，李水清是 八路军115师343旅营教导员。他在部队学习刻苦，成为文化水平高的政工干部。红军换装时，很多干部战士想 不通，李水清用“犒师救国”的典故启发大家看一个人是否爱国，既要看他的言论，又要看他的行为。光从装束打扮上是衡量不出一个人是否爱国的。李水清在 平型关战斗中负伤。

他担任团政治处主任时，所在团编入冀察热挺进军，以后他担任 晋察冀军区第7团政委。

1939年，7团编入 平西部队，1942年平西改编为 晋察冀军区第11军分区，7团是第11军分区的主力。李水清当时率领的武工队十分活跃。日军控制了许多“联庄会”， 李水清率武工队打掉了黄土梁的“联庄会”据点，震动很大，桃花川“联庄会”的会首急于与7团联系，李水清借 上寺村村长给儿子娶亲，各“联庄会” 会首和伪军头目均来赴宴的机会，突然出现在酒宴上，当时参加酒宴的人们都惊呆了，李水清谈笑风生，阐明我军对“联庄会”的政策，“联庄会” 众会首均折服，后来这些“联庄会”都掩护了八路军。

解放战争，李水清任67军199师师长。 太原战役，总前委决定先打太原城，后攻 卧虎山，199师的任务是钳制卧虎山之敌。他派了一个小分队摸进敌军的一个碉堡，意外俘虏了守敌师长和副师长。李水清认为敌军失去师长，军心大乱，不如乘势攻下卧虎山。军长认为总前委决定先打太原城，后攻卧虎山，不能违背。李水清冒着违抗军令的风险，自行指挥199师攻打卧虎山。战斗打响后，兵团司令员 杨成武打电话询问战况，李水清说进展顺利，杨成武说给他两天时间，李水清说明天中午之前保证拿下卧虎山。李水清指挥199师10个小时拿下了卧虎山。事后杨成武说：积极的相机而行可不是一件简单的事，这需要气魄，需要胆略，需要敢于承担责任的勇气，这种素质，是一名指挥员优秀品质的体现。

开国大典时，199师参加阅兵式，李水清走在199师队列的最前面，这一年他32岁。

1951年，他入朝作战，担任67军副军长兼199师师长。在秋季防御战役中，67军激战金城川三日，顽强抗击了敌人3天的猛烈攻势，胜利地粉碎了敌人的全面进攻，重创美军第7师。全军3天共歼敌17000多人，创造了朝鲜战场日歼敌的最高纪录，志愿军司令部、兵团均发电予以表扬。被朝鲜民主主义人民共和国授予二级国旗勋章和二级自由独立勋章。

1958年毛泽东接见济南军区领导干部。当时军以上领导干部列队欢迎。 毛泽东进入会场，见李水清，呼之曰：“小李子”。李水清精神抖擞，迈步“蹬蹬”上前敬礼。毛泽东笑呵呵：“小李子不长个子，只长精神。”

文革期间，李水清1969年5月任山东省革命委员会党的核心领导小组成员，6月任山东省革命委员会副主任，和 李耀文一起成为 杨得志的得力助手。1970年，他担任第一机械工业部革命委员会主任。1975年，他担任第一机械工业部部长，同年 邓小平同意他回军队，他担任了南京军区副司令员。李水清后来回忆说：“那是非常时期，总理点将，赶鸭子上架，外行管内行， 不得已而为之。所以，邓主席一复出，我就马上写辞职书请求调回军队干老本行。”