李菁玉出身于贫农家庭，4岁丧父，与母亲相依为命。8岁入本村小学读书，14岁因家贫辍学，先后到南宫庆聚银号、衡龙华粮店、高阳天庆德洋布庄、唐山中德大药房等当学徒。

1929年4月，考入烟台芝罘陆军军官学校，一个月后，经张锡珩介绍加入中国共产党，不久又任该校党支部书记。1930年10月，因政治嫌疑被勒令退学后，很快与中共河北省委接上组织关系，被派往唐山市委军委工作。1931年1月，李菁玉调中共天津市委任军委书记。不久，被派往国民党东北军驻津炮团组织兵运，策划兵变未果。中共天津市委遭到破坏后，李菁玉回家探亲期间与中共直南特委取得联系，并于1932年5月担任中共南宫特支书记，不久又任南宫县委书记、南宫中心县委书记。他以走村串校卖文具、办流动图书馆为掩护，秘密发行进步书刊和他创办的《民众小报》，一年余创建农村党支部12个。1933年磁县党组织遭到破坏，李菁玉调任磁县中心县委书记，领导峰峰铁矿工人取得增资斗争的胜利。1934年冬，李菁玉改任直南特委书记后，积极稳妥地组织农民武装，展开以砸警察局、打盐巡和分粮吃大户等形式的直南农民暴动，组建了中国工农红军平汉线游击队。1935年10月，李菁玉调任保属特委书记，半年余使保定市委和所属大多数县的党组织相继恢复、建立。

1937年5月，李菁玉参加了延安白区代表会议后，担任了平汉线省委（后改为晋冀豫省委）书记，数月内组建了正太铁路工人游击队、井陉抗日游击大队和阳泉煤矿工人游击队。1938年1月李菁玉与陈再道率领129师东进纵队进入冀南，通过举办党员培训班和冀南抗日军政干部学校，培养了一大批党员干部，为冀南抗日根据地的蓬勃发展奠定了基础。同年3月，中共冀鲁豫边区省委（后称冀南区委）成立，李菁玉任省委书记。他夜以继日，兢兢业业地工作，配合129师副师长徐向前同志，领导抗日救亡运动，建立民主政权，发展抗日统一战线，为冀南区党、政、军建设和发展作出了贡献。

1943年11月，为了加强对冀南和冀鲁豫的统一领导，中共中央决定成立中共冀鲁豫分局（平原分局），李菁玉任分局宣传部长。当时，他正在华北局党校主持冀南干部整风班的整风学习。1944年5月，冀南、冀鲁豫正式合并后，成立了平原分局党校，任命李菁玉为教务长。在整风学习期间，李菁玉误把康生在中央审干工作中所做的“抢救失足者”的报告作为中央指示来执行，伤害了一大批好干部。中央作出了有关决定后，他认识了错误，除在大会作深刻检查外，还主动在会后分别找有关人员赔礼道歉，认真纠正错误，获得了大家的谅解，增强了革命团结。1945年春，分局党校结束整风学习，李菁玉返回分局驻地清丰县单拐村，在邓小平同志和北方局的指导下，积极投身减租减息群众运动。1945年8月，冀南区党委重建，李菁玉仍担任书记。1946年以后，李菁玉先后在中央党校、中央马列学院学习近3年时间，使理论水平有了很大提高。

建国以后，自1952年1月，李菁玉开始从事农业管理工作，先后任华北区农林水利局副局长、农林局局长，农业部农机管理总局局长，农业部部长助理，农机局长兼北京农业机械化学院院长、党委书记等职。他对党的事业满腔热忱，工作中勇于创新。为改造落后的耕作机具，他首先筹建了北方、南方两个农机研究所，进而在全国普及农机具研究机构，还通过创建农业机械化学会，创办了《农业机械技术》杂志，促进了农机具的研制，并取得了一批科研成果。1956年李菁玉率农机考察团赴苏联考察半年后，带领工作组在河北省进行农业规划，推行了一系列切合实际的农机管理新措施。

1960年11月，李菁玉被强加以“资产阶级个人野心家”的罪名，在农业部受到批判。1961年被开除党籍，撤销一切行政职务，但他始终对党的信仰坚定不移。“文化大革命”初期，周恩来总理指出：“开除李菁玉的党籍处理不当”。但林彪、江青反革命集团却置若罔闻，仍将李菁玉关押审查。因长期受到折磨虐待，1972年3月19日，李菁玉在狱中含冤去世。1979年7月7日，中央农业部为李菁玉平反昭雪并召开了隆重的追悼大会。