阮文祥出生在越南中部的广治省召峰县的贫穷农家中。他的父亲曾参与反抗阮朝统治的起义，因此阮朝曾禁止他参加科举考试。

1848年10月29日，嗣德帝继位。阮朝的官方史料并没有记载阮文祥最初是如何同嗣德帝搭上关系的，但可以证明的是，阮文祥在嗣德帝的保护下成功通过了科举考试，并成为了高级官员。1852年，阮文祥被任命为刑部尚书。1862年，阮文祥的父亲逝世。根据儒家传统观念，阮文祥退隐还乡，为父亲守了五年的孝，此后又官复原职。

从1858年起，越南成为法国的保护国。1873年，嗣德帝将与法国谈判的重任交给了阮文祥。虽然他成功同法国签订了条约，但法国人将他当作一个骗子。在同霍道生签订了条约和收复了被安邺大尉占领的河内之后，阮文祥被任命掌管国家的内政和外交事务。1881年，成为内阁首相。

嗣德帝死后，遗命阮文祥、陈践诚、尊室说三人共掌朝政。但事实上，阮文祥和尊室说在朝中的权力远远大于陈践诚。而执掌朝政的不仅包括三人，还包括了嗣德帝的母亲范氏姮，即慈裕太后、庄懿、学妃三位女性，也就是所谓的“三宫”。为了巩固自己的权力，阮文祥同学妃发生暧昧关系。

嗣德帝没有儿子，但他收养了三位侄儿为养子。嗣德帝在31岁时收养了弟弟坚太王阮福洪依的两个儿子正蒙堂（后来成为同庆帝）、养善堂（后来成为建福帝），育为己子，当时他们分别为19岁和14岁。

根据越南历史学家范文山的说法，嗣德帝曾希望由养善堂继承皇位，但受到了“三宫”的压力。嗣德帝曾经通过批评育德堂（嗣德最年长的养子）的道德行为证明其立养善堂为储君的正确性，但三宫最初不为育德的行为所动，直到后来决定杀死他。由于阮文祥与学妃的暧昧关系，一些历史学家推测他们通过治疗谋杀了育德帝。随后阮文祥等人拥立了37岁的协和帝即位。然而新皇帝意识到他们的威胁，试图疏远他们。阮文祥等人得知后，计划废黜协和帝。协和帝通过联合法国势力的方法来对抗可怕的辅政大臣们。然而但法国人不在的时候，阮文祥等人杀死了协和帝，另立建福帝。然而建福帝抓住了阮文祥与学妃通奸一事，声称将依法处置他们。在阮文祥将要被杀之前，学妃在建福帝的药里下毒，使建福帝在第二天就死去了。

最终，阮文祥和尊室说拥立了咸宜帝。尊室说决定发动反对法国的勤王运动。尊室说战败，挟持咸宜帝出奔广治省，据守山区对抗法军，后兵败出奔清朝。同时法国人拥立同庆帝即位，阮文祥继续充当辅政大臣的角色。

法国人给阮文祥两个月的时间，要求他将咸宜帝俘虏并带回，而当时咸宜帝仍在山区里反抗。但阮文祥没有完成法国人的任务。于是在1885年9月6日，法国人罢去他一切职务，将他和尊室说的父亲尊室订一起关押在了昆山岛。阮文祥在监狱里图谋东山再起，向士绅发出檄文讨伐法国人，但被发现。法国人没收了他的财产，发现了1450万法属印度支那元。

1885年11月23日，阮文祥被法国人流放到了太平洋上的塔希提岛，并于1886年2月死在了那里。同年7月，他的遗体被尊室订带回顺化安葬。