1932年 ，考入县立师范讲习所 ，后因家贫辍学，回乡办义务小学，专门教授穷人子弟 。“七七”事变后 ，马杰参加了民众干部训练班 。
1938年7月 ，加入中国***。
1939年8月，动员本乡五六十名青年参加八路军 ，编为一个区中队 ，自任队长，经常活动于掖县城周围 ，反伪除奸 ，扰乱和打击敌人。 1940年11月，任掖南(今属莱州市)县委军事部干事 。次年5月 ，任县大队政委 。
1942年9月 ，县大队扩建为独立营，继任政委。
1943年 ，任掖南县县长兼掖西县工委书记和独立营营长 。
1945年8月 ， 任山东军区第六师十七团政治处副主任 。
1945年810月任山东军区第六师十五团政治部副主任。11月，任四团团政治处主任兼代政委 。
194 6年1月，参加营口北滚子炮战斗 。同年冬 ，参加四保临江战役 ，受到辽东军区通令嘉奖， 该团所有指战员被记战功一次。
1947年9月 ，四团改为东北野战军第四纵队第十一师三十一团 ，马杰任团政委 。在营口战斗中，其腿部和胸部被炮弹炸伤 ， 流血不止 ，坚持不下火线，仍继续指挥战斗 。次年9月 ，辽沈战役开始 ，他腿部带伤，冒着零下30多度的严寒 ，率领全团昼夜不停地行军作战。在解放辽阳城战斗中 ，带领尖刀连，猛打猛冲，突破缺口 ，为全团进攻扫清了道路 。
1948年底 ，马杰改任一二二师政治部副主任 。次年1月，参加平津战役。5月 ，随军南下 ，参加衡(阳)宝(庆)战役。后赴广西参加解放桂林和剿匪战斗 。
1950年—1952年，先后任一二二师政治部主任 ，1952年任师副政委 、政委 。
1955年 ，被授予大校军衔，获“二级独立自由勋章 ”和“二级解放勋章 ”。
1958年4月 ，任第九兵团二十七军政治部主任 。
1961年5月 ，任军副政委兼政治部主任 。
1964年6月，升任二十七军政委。同年 ，晋升为少将衔 。
1972年5月 ，调任北京军区副政委兼中共河北省委书记处第二书记 。
1975年3月7日病故。荣获二级独立自由勋章，二级解放勋章 。