幼年随父 胡惟德赴俄国，在莫斯科俄国皇家小学就读。后赴法国，入巴黎政治学校，毕业后又入巴黎大学学习，获法学博士学位。

1919年任巴黎和会中国代表秘书。1920年任国际联盟中国代表团团员，及国际财政会议中国代表团专门委员。1921年任华盛顿会议中国代表团秘书。1923年任驻德国公使馆一等秘书。1924年任驻德国公使馆代办使事。1925年任北京政府外交部参事。1926年任关税特别会议编纂处副处长；同年任督办中俄会议事宜公署专门委员。1927年任北京政府外交部条约司科长。1928年任上海市政府参事，兼国民政府建设委员会秘书；同年入外交部，任秘书兼总务司交际科科长。1929年4月，派为行政院中心庚款委员会委员。1930年4月，任外交部亚洲司司长。1931年任中苏会议专门委员；同年12月，任驻国际联合会全权代表办事处处长。1932年任国联全权代表办事处处长；同年5月，任驻瑞典代办，加公使衔。1933年5月，任驻瑞士公使。1942年12月，任外交部常务次长，1945年8月去职。1946年任联合国助理秘书长，主管联合国托管及非殖民化事务。后任负责会议事务的副秘书长。1971年中华人民共和国恢复在联合国的合法席位，胡世泽离职。1972年在纽约逝世，终年78岁，联合国为此召开了隆重的追悼会。