字思明，吴兴武康人也。祖寂，晋光禄勋。父宣，新安太守。怀文少好玄理，善为文章，尝为楚昭王二妃诗，见称于世。初州辟从事，转西曹，江夏王义恭司空行参军，随府转司徒参军事，东阁祭酒。丁父忧，新安郡送故丰厚，奉终礼毕，余悉班之亲戚，一无所留。

太祖闻而嘉之，赐奴婢六人。服阕，除尚书殿中郎。隐士 雷次宗被征居钟山，后南还庐岳， 何尚之设祖道，文义之士毕集，为连句诗，怀文所作尤美，辞高一座。以公事例免，同辈皆失官，怀文乃独留。随王诞镇襄阳，出为后军主簿，与谘议参军 谢庄共掌辞令，领义成太守。 元嘉二十八年，诞当为广州，欲以怀文为南府记室，先除通直郎，怀文固辞南行，上不悦。

宋书弟怀远纳 东阳公主养女王鹦鹉为妾。元凶行巫蛊，鹦鹉预之，事泄，怀文因此失调，为 治书侍御史。元凶弑立，以为中书侍郎。世祖入讨，劭呼之使作符檄，怀文固辞，劭大怒，投笔于地曰：“当今艰难，卿欲避事邪！”旨色甚切。值 殷冲在坐，申救得免。托疾落马，间行奔新亭。以为竟陵 王诞卫军记室参军、新兴太守。又为诞骠骑 录事参军、淮南太守。时国哀未释，诞欲起内斋，怀文以为不可，乃止。寻转扬州 治中从事史。

宋书时议省录尚书，怀文以为非宜，上议曰：“昔天官正纪，六典序职，载师掌均，七府成务，所以翼平辰衡，经赞邦极。故总属之原，著夫官典，和统之要，昭于国言。夏因虞礼，有深冢司之则；周承殷法，无损掌邦之仪。用乃调佐 王均，缉亮帝度。而式宪之轨，弘正汉庭；述章之范，崇明魏室。虽条录之名，立称于中代，总厘之实，不愆于自，比代相沿，历朝罔贰。及乎爵以事变，级以时改，皆兴替之道，无害国章，八统元任，靡或省革。按台辅之职，三曰礼典，以和邦国，以统百官。四曰政典，以平邦国，以正百官。郑康成云u2018冢宰之于庶僚，无所不总也。u2019考于兹义，备于典文，详准今，不宜虚废。”不从。迁 别驾从事史，江夏王义恭迁，西阳王子尚为扬州，居职如故。

宋书时荧惑守南斗，上乃废西州旧馆，使子尚移居东城以厌之。怀文曰：“天道示变，宜应之以德。今虽空西州，恐无益也。”不从，而西州竟废矣。大明二年，迁 尚书吏部郎。时朝议欲依古制置 王畿，扬州移治会稽，犹以星变故也。怀文曰：“周制封畿，汉置司隶，各因 时宜，非存相反，安民宁国，其 揆一也。苟民心所安，天亦从之，未必改今追古，乃致平壹。神州旧壤，历代相承，异于边州，或罢或置，既物情不说，容亏化本。”又不从。三年，子尚移镇会稽，迁 抚军长史，行府州事。时囚系甚多，动经年月，怀文到任，讯五郡九百三十六狱，众咸称平。

宋书入为侍中，宠待隆密，将以为会稽，其事不行。竟陵 王诞据广陵反，及城陷，士庶皆鞭面，然后加刑，聚所杀人首于石头南岸，谓之髑髅山。怀文陈其不可，上不纳。扬州移会稽，上忿浙江东人情不和，欲贬其劳禄，唯西州旧人不改。怀文曰：“扬州徒治，既乖民情，一州两格，尤失大体。臣谓不宜有异。”上又不从。

宋书怀文与 颜竣、周朗素善，竣以失旨见诛，朗亦以忤意得罪，上谓怀文曰：“竣若知我杀之，亦当不敢如此。”怀文默然。尝以 岁夕与 谢庄、 王景文、 颜师伯被敕入省，未及进，景文因言次称竣、朗人才之美，怀文与相酬和，师伯后因语次白上，叙景文等此言。怀文屡经犯忤，至此上倍不说。上又坏诸郡士族，以充将吏，并不服役，至悉逃亡，加以严制不能禁。乃改用军法，得便斩之，莫不奔窜山湖，聚为盗贼。怀文又以为言。斋库上绢，年调钜万匹，绵亦称此。期限严峻，民间买绢一匹，至二三千，绵一两亦三四百，贫者卖妻儿，甚者或自缢死。怀文具陈民困，由是绵绢薄有所减，俄复旧。子尚诸皇子皆置邸舍，逐什一之利，为患遍天下。怀文又言之曰：“列肆贩卖，古人所非，故 卜式明不雨之由，弘羊受致旱之责。若以用度不充，顿止为难者，故宜量加减省。”不听。

宋书孝建以来，翼诸弟，广陵平后，复欲更峻其科。怀文曰：“汉明不使其子比 光武之子，前史以为美谈。陛下既明管、蔡之诛，愿崇唐、卫之寄。”及海陵王休茂诛，欲遂前议，太宰江夏王义恭探得密旨，先发议端，怀文固谓不可，由是得息。

宋书时游幸无度，太后及六宫常乘副车在后，怀文与 王景文每陈不宜亟出。后同从坐松树下，风雨甚骤。景文曰：“卿可以言矣。”怀文曰：“独言无系，宜相与陈之。” 江智渊卧草侧，亦谓言之为善。俄而被召俱入雉场，怀文曰：“风雨如此，非圣躬所宜冒。”景文又曰：“怀文所启宜从。”智渊未及有言，上方注弩，作色曰：“卿欲效颜竣邪？何以恒知人事。”又曰：“颜竣小子，恨不得鞭其面！”上每宴集，在坐者咸令 沈醉，怀文素不饮酒，又不好戏调，上谓故欲异己。 谢庄尝诫怀文曰：“卿每与人异，亦何可久。”怀文曰：“吾少来如此，岂可一朝而变。非欲异物，性所得耳。”

宋书五年，乃出为晋安王子勋征虏长史、广陵太守。明年，坐朝正，事毕，被遣还北，以女病求申。临辞，又乞停三日，讫犹不去。为有司所纠，免官，禁锢十年，既被免，买宅欲还东。上大怒，收付廷尉，赐死，时年五十四。三子：淡、渊、冲。

弟怀远，为始兴王浚征北长流参军，深见亲待。坐纳 王鹦鹉为妾，世祖徙之广州，使广州刺史 宗悫于南杀之。会南郡王义宣反，怀远颇闲文笔，悫起义，使造檄书，并衔命至始兴，与始兴相 沈法系论起义事。事平，悫具为陈请，由此见原；终世祖世不得还。怀文虽亲要，屡请终不许。前废帝世，流徙者并听归本，官至武康令。撰《南越志》及怀文文集，并传于世。