肇棠7岁入塾，14岁到文庙街小学读书,后考入甘肃省第一中学，为图报国,1915年又考入甘肃陆军测量学校，毕业后,以全校第一名的资格被推荐到甘肃陆军测量局工作,不久任科长。

1920年，他调到陇东镇守使署当参谋。因厌恶统领贪污腐化、行贿受贿的行为，于1922年冬辞职，又到陕军第一师骑兵训练处（驻今邯郸）工作，23年冬，他受命到广州向孙中山汇报西北党务工作。途径上海时，向胡汉民、张继交了函件，并由二人介绍加入国民党。1924年1 月到广州，由廖仲恺引荐谒见孙中山，面呈了刘守中的党务报告，并就西北政治、军事、风物民情作了亲切交谈。2月，他带着孙中山"依托陕军在北方大张革命势力"指示，到北平向李大钊等做了汇报。又返回邯郸，负责西北党务工作。

1924年秋，第二次直奉战争爆发。他随骑兵训练处挺进队投入反军阀之战，转战于通州、喜峰口及热河平泉一线。沿途屡战屡捷。北阀之际，奉命开往豫西，因战功卓著，被擢升为团长，后所在部队改编为国民革命军新编第十九军，他任第一师师长。不久，蒋介石背叛革命，下令各军清除共产党，他不但不予执行，反力劝高桂滋将阜阳暴动中入狱的30余名共产党员全部释放，然后毅然率部离开47军，参加了唐生智"护党救国"之役和冯玉祥、阎锡山的联合倒蒋之役，并先后同杨虎城、邓宝珊会同，到山西、陕西、甘肃各省联合倒蒋介石势力，以图东山再起。大革命失败和自己所遭挫折，使他深刻认识到，军阀混战的局面难以改变，他更加同情支持共产党。

"西安事变"发生后，杨虎城电约他到西安谋事，到西安时，蒋介石已被释放，他又到北平。芦沟桥事变后，积极开展抗日活动，并始终与八路军保持联系。1939年，任副军长，他到重庆向何应钦、蒋介石请示汇报，蒋介石为了笼络人心，对他所提条件全部答应，后由于受到陷害，于1941年1 月1日，迅速投奔共产党领导之下的晋冀鲁豫抗日根据地，受到彭德怀的热情欢迎和亲切接见。6日，即当选为晋冀鲁豫临时参议会副参议长。

1943年11月16日，他来到久慕之地延安，受到毛泽东、朱德、贺龙等中共领导人接见。1945年5月10日，毛泽东批准他为中共正式党员。8月，日本投降，蒋介石又发起内战，中共中央派他前往邯郸改造高树勋起义部队。经过艰苦危险的工作，圆满完成任务。翌年12月，中共华北局任命他为民主建国军（原高树勋部）副军长。1948年7月，晋冀鲁豫边区政府召开华北临时人民代表大会，当选为华北正式代表参加了第一届中国人民政治协商会议。10月29日，陕甘宁边区政府任命邢肇棠为宁夏省人民政府副主席。12月2日，中央人民政府任命他为西北军政委员会委员，1952年1月9日，中央人民政府又任命为宁夏人民政府主席。同年，在中共宁夏省委第三次代表大会上当选为常务委员会委员，1955年1 月，调任河南省第一副省长，还当选为第一届全国人民代表大会代表。

在1947年前后，邢肇棠还写过不少见闻杂记一类文章，后收集在《时事两面观》和《有啥说啥》两个集子里，由晋冀鲁豫出版社出版发行。

历任国民革命军营长、师长，国民党第四十七军师长，冀察游击司令部副司令，新编第五军副军长，民主建国军副总司令，华北人民政府水利委员会主任，宁夏省人民政府副主席、主席，河南省副省长。