他是法国贵族的后裔，早年先后在格拉茨和维也纳学习，结识勃拉姆斯后，成为他的热心支持者和模仿者。1866年他和勃拉姆斯的学生伊丽莎白结婚，伊丽莎白和勃拉姆斯关系密切，他们两人的通信是研究勃拉姆斯的重要史料。1874年赫尔佐根伯格移居莱比锡任教，1885年又移居柏林。1892年伊丽莎白去世，对他的打击很大。晚年他下肢关节坏死，靠轮椅代步。1900年逝世于威斯巴登。

赫尔佐根伯格的作品属于典型的学院派，受勃拉姆斯的影响很大，但他的风格并不那么复杂晦涩。赫尔佐根伯格的创作涉及很多领域，质量也普遍较高，但因缺乏特色，目前很少演出。