出生在图林根的小贵族家庭，早年加入 条顿骑士团，可能曾经历从移民互助团体到骑士团的转变（1198年）。完全凭个人能力1210年获得条顿骑士团大团长职务。他与巴伐利亚公爵路易率大队骑士团及盟军支援埃及境内的 第五次十字军东征，但他的军队和部分十字军在企图渡过艾什蒙运河的时候战败，被迫投降。

1225年帮助协调了丹麦国王 瓦尔德马二世和什末林 黑伯爵亨立克之间的关系，因而增强了帝国在易北河下游的领土和帝国在丹麦的影响力。在担任 神圣罗马帝国皇帝 腓特烈二世的外交官和顾问的时候，他赢得了皇帝的信任和支持。在十字军东征失败后，身为大团长的赫尔曼开始将他的骑士团，从基督教化和军事活动由机会不多的中东地区，移到相对更容易获得财富的东欧地区。

他在匈牙利进行的第一次军事行动失败了，骑士团于1225年被赶出那个地区，但是，此后不久的1526年，他应东波兰马佐维亚的康德拉的邀请，骑士团前去征服 维斯瓦河的普鲁士人并使他们改变信仰，康拉德将该地区库尔姆省一大片土地赐封给骑士团。皇帝腓特烈二世也给他颁发了一个特许状，准许骑士团对普鲁士人传教并拥有统治权。

1233年赫尔曼发动了一次全面的攻势，在骑士团行省团长H·巴尔克的指挥下征服了普鲁士，1228年他还参加了腓特烈二世的 第六次十字军东征，和平占领耶路撒冷。

1230年，他在调解腓特烈二世与教皇 格列高利九世的冲突中起了关键的作用，

1235年，他又协助解决皇帝与反叛的长子亨利之间的冲突，。由于受到皇帝与教皇双方的信任，他使骑士团的势力达到登峰造极的地步。由于采取了富有远见的政策，他时骑士团在普鲁士建立了一个强盛的封建国家，一直维持到15世纪中叶转化成世俗的 普鲁士公国。

1239年3月19日赫尔曼·冯·萨尔扎卒于阿普利亚的 巴勒莫。他到死都是皇帝的铁杆心腹。