1867年12月，杨廉臣考入船政艺圃绘事院充当半工半读的艺徒，学习船舶图纸绘制。半年后，他被选拔到船政学堂第一届制造班，成为正式生，1873年毕业。1877年，他洲深造。他先在法国多朗官厂（校）学习船机制造，后又转入英国、比利时各厂校学习炮械制造等其他学科。

1880年杨廉臣学成归国，任船政工程处制机总司。他和留学回国的魏瀚、陈兆翱、郑清廉等人将外国新的造船理念带到中国，注意提高船舶的航速。1882年，他们一起主持建造了铁胁快碰兵船（暨巡洋舰）开济号。杨廉臣还参与建造了中国第一艘钢壳钢甲军舰平远号，高速驱逐舰建威号、建安号。1907年他升任船政提调。由于船政大臣为闽浙总督松寿兼任，而松寿极少过问船政事务，故杨廉臣实际负责船政事务。

武昌起义爆发后，杨廉臣支援福州革命党许崇智（新军协统，杨廉臣的学生）、孙道仁（新军统制）、陈恩涛（闽江要塞司令官）等人的起义，光复福州。中华民国成立后，船政拨归省辖，改称福州船政局，不久被北洋政府海军总长刘冠雄收归海军部。杨廉臣则以年老未被起用。此后其生平不详。

杨廉臣在船政的学历颇为特殊，他先是考入艺圃，就读绘事院的制图专业，身份是半工半读的艺徒。聪颖好学的杨廉臣成绩突出，备受瞩目，仅半年就破格选拔进入前学堂，成为船政学堂第一届制造专业的正式学生。尽管比别人迟入学一年多，但杨廉臣十分勤奋，刻苦攻读，毕业时总成绩名列全班第七名，不久，又以同样的名次，选入留学生队伍。在欧留学期间，杨廉臣主攻轮机专业，也涉及船体工程、机械制造、枪炮兵器，成绩优异。1880年10月，杨廉臣学成归国，担任船政工程处制机总工程师。他和魏瀚、陈兆翱、郑清濂等，主持了“开济”、“横海”、“镜清”等新式巡海快船的建造，也参与第一艘钢质军舰“平远”号的制造，推动了晚清时期我国造船技术水平的大幅度提升。1896年，他的同学轮机专家陈兆翱病逝，而魏瀚因不满法国监督杜业尔的胡非作为辞职去了广东。杨廉臣以大局为重，在工程处勉力支撑，参与了建威、建安两艘高速猎舰的建造，并担任船政总稽查（总督工）。

1907年，清廷下令船政停办，但仍有未竞工程，如2100吨级的钢质江船“宁绍”号刚刚下水，完成全部工程尚需时日。此际，船政会办大臣、老同学郑清濂也离开马尾转行铁路建设，由闽浙总督松寿兼管船政。松寿是满族官员，无心船政事业，遂提拔杨廉臣担任船政提调，实际上全面主持船政工作。杨廉臣为拓展业务，效法上海江南造船厂，主张承揽各省造船业务，不论官商轮船，均可建造，以免厂房机器锈蚀毁废。为此，杨廉臣于工程闲暇之时，动手设计了多种适用船型，其中有排水量220吨的浅水巡逻艇，适合长江各省缉捕巡戈之用。他将这款新船的设计图式送至刚设立的南洋劝业会会场参展，虽引人关注，却未揽到订单，一片苦心付诸东流。但能对新船进行整体设计，足见杨廉臣技术之全面。沈觐宸编著的《船政编年史》一书，还详细记载了杨廉臣设计的这种浅水巡船全部技术数据，为后人留下了中国第一代造船专家的研发成果。

1911年武昌起义爆发后，各省反清革命风起云涌。杨廉臣的学生许崇智密谋在福州率部起义，遣人送密信告知杨廉臣，希望能得到老师帮助，派兵船巡游马尾江面，以阻挡驻扎对岸的洋屿水军旗营增援福州的清军。杨廉臣暗中作了部署，令马尾水师营管带吴少岩驾“威风”号兵船在罗星塔一带水域巡逻，盘查有携带武器兵员的船只防范忠于清廷的水军上省。

19911年11月9日晨，许崇智和统制孙道仁率军进攻福州城内的清军旗兵营，双方展开激战。革命军军火告急，急忙派人赶往马尾求援。杨廉臣带领人马来到储炮厂，亲自挑选了一批枪炮弹药，并调拨两艘轮船运往福州。得到这批船政军火的支援，革命军士气大增，很快就击溃了省城八旗军的主力捷胜营。10日，福州光复，结束了清廷的统治。

民国成立后，船政归属省辖，更名福州船政局，废船政大臣和提调职。杨廉臣因年老未能起用，之后的行踪不详。望有知情者能提供线索材料，让这位为船政事业做出很大贡献的先辈事迹更完整地昭显于世人。