1932年，考入县立师范讲习所，后因家贫辍学，回乡办义务小学，专门教授穷人子弟。“七七”事变后，马杰参加了民众干部训练班。

1938年7月，加入中国共产党。

1939年8月，动员本乡五六十名青年参加八路军，编为一个区中队，自任队长，经常活动于掖县城周围，反伪除奸，扰乱和打击敌人。　1940年11月，任掖南（今属莱州市）县委军事部干事。次年5月，任县大队政委。

1942年9月，县大队扩建为独立营，继任政委。

1943年，任掖南县县长兼掖西县工委书记和独立营营长。

1945年8月， 任山东军区第六师十七团政治处副主任。

1945年810月任山东军区第六师十五团政治部副主任。11月，任四团团政治处主任兼代政委。

194 6年1月，参加营口北滚子炮战斗。同年冬，参加四保临江战役，受到辽东军区通令嘉奖， 该团所有指战员被记战功一次。

1947年9月，四团改为东北野战军第四纵队第十一师三十一团，马杰任团政委。在营口战斗中，其腿部和被炮弹炸伤， 流血不止，坚持不下火线，仍继续指挥战斗。次年9月，辽沈战役开始，他腿部带伤，冒着零下30多度的严寒，率领全团昼夜不停地行军作战。在解放辽阳城战斗中，带领尖刀连，猛打猛冲，突破缺口，为全团进攻扫清了道路。

1948年底，马杰改任一二二师政治部副主任。次年1月，参加平津战役。5月，随军南下，参加衡（阳）宝（庆）战役。后赴广西参加解放桂林和剿匪战斗。

1950年—1952年，先后任一二二师政治部主任，1952年任师副政委、政委。

1958年4月，任第九兵团二十七军政治部主任。

1961年5月，任军副政委兼政治部主任。

1964年6月，升任二十七军政委。同年，晋升为少将衔。

1972年5月，调任北京军区副政委兼中共河北省委书记处第二书记。

1975年3月7日病故。

1955年，被授予大校军衔，获“二级独立自由勋章”和“二级解放勋章”。1964年，晋升为少将衔。荣获二级独立自由勋章，二级解放勋章。