父镛，嘉庆十四年进士，官至太仆寺卿。丰玉少应科举不遇，捐纳铨授贵州平远知州。署威宁，捕斩大盗，总督林则徐嘉异之，调黄平。苗寨盗魁保禾日聚众剽掠。丰玉清保甲，理屯军，请兵会剿。巡抚乔用迁虑激变，不许。既而苗益恣，从知府胡林翼往剿，保禾遁。时广西匪起，蔓及贵州境。丰玉练民兵，入山搜捕，多得盗魁，诛之。云南巡抚张亮基过黄平，悉其状，密疏荐。迁郎岱同知，署思州府。

咸丰二年，擢湖北黄州知府。甫莅任，而张亮基调湖南，奏调丰玉往襄军事，助守长沙。寻从总督徐广缙赴岳州，武昌已陷，丰玉请广缙速移镇黄州，截贼下窜。广缙不能用，得罪去，张亮基代之。三年，擢湖北督粮道，署汉黄德道。广济民变，戕县令。黄州知府邵纶及新令鲍开运往抚，均遇害。丰玉偕按察使江忠源往剿，捕斩数百人，乃定。会粤匪由江宁分窜上游，忠源率师援江西，亮基令丰玉统湖北防军驻田家镇。镇当江北岸，后有大山曰黄金塔，小山曰磨盘，下有河直入江中，与南岸半壁山接。山堑水湍，舟行必循湍绕河乃得过，最据形势。丰玉列营诸山，於河上联筏作城，列炮以守。半壁山背倚湖，湖通兴国，入湖处曰富池口。丰玉欲分营半壁山上而兵单，仅遣兵弁了望而已。

九月，贼由南昌退九江，遂上犯田家镇。丰玉偕总兵杨昌泗凭墙炮击沉贼船，又毙陆路扑营贼，乘胜追压乃退。次日，贼船拥至，分三路迎击，毙贼甚众，毁其大船。贼由富池口分船数百犯兴国，会江忠源由江西回援，贼复由兴国会於富池口。荆门知州李榞轻军袭之，丰玉遣兵夹击，败挫，榞阵殁。忠源闻田家镇危急，调九江兵驰援，未达，忠源独挈亲兵数十人至。见贼众兵单，惊曰：“不可守矣！”次晨，大风作，贼连樯骤至，环扑我营。丰玉偕汉黄德道张汝瀛督战，筏城被焚，营垒皆不守。丰玉手佩刀杀贼，遂自刭，汝瀛同殉焉。忠源亲随仅存数人，收集馀众，退驻广济。事闻，予骑都尉世职。光绪中，大学士李鸿章疏陈丰玉政绩、死事状，予谥勇烈，建专祠。