刘表任荆州牧时，黄祖出任江夏 太守 。据推测为江夏安陆黄氏族人。在东汉时江夏黄氏为著名的士人家族，即名臣黄香 一族。刘表在荆州重用地方豪族势力，如蔡瑁、蒯良、文聘等，黄祖很可能为江夏黄氏。

公元191年（初平二年）四月，袁术派孙坚征讨荆州，攻打刘表。刘表派黄祖在樊城 、邓县之间迎战。孙坚击败黄祖，乘胜追击，渡过汉水，包围襄阳。刘表闭门不战，派黄祖乘夜出城调集兵士。黄祖带兵归来，孙坚复与大战。黄祖败走，逃到岘山 之中，孙坚追击。黄祖部将从竹林间发射暗箭，孙坚中箭身亡，

公元198年（建安三年），曹操派祢衡出使荆州，因侮慢刘表，刘表觉得羞耻，不能容忍，认为江夏太守黄祖性情急躁，所以把祢衡又送给黄祖，黄祖也能善待祢衡。祢衡替黄祖做文书方面的事，孰轻孰重、孰疏孰亲，都处理得很恰当。黄祖拉着祢衡的手说：“先生，这正合我的意，和我心中要说的话一样啊。”黄祖的长子黄射，为章陵太守，和祢衡尤其友善。黄射一次宴请宾客，有人送给他一只鹦鹉，黄射举着酒杯对祢衡说：“希望先生（就鹦鹉）作一篇赋，以此来使嘉宾高兴高兴。”祢衡提笔就写，中间没有任何改动，一气呵成，文辞色彩也很华美。

后来黄祖在大船上，宴请宾客，但祢衡出言不逊，使黄祖很难堪，就斥责祢衡。祢衡更是仔细地盯着黄祖，说：“死老头！”黄祖非常生气，想要打他。祢衡更是大骂，黄祖气愤到极点，就下令杀祢衡。因为黄祖的主簿一向恨祢衡，即刻就杀了祢衡。黄射（得知消息后）光着脚来救，但没赶上。黄祖也后悔，就厚葬了他。祢衡死时年二十六岁。

黄祖领兵驻防在沙羡之后，多次防备来自江东的孙氏军队的进攻，虽然史料记载对抗孙军的战事上几乎呈现下风，甚至有屡战屡败之绩，但仰赖刘表的守土防御战略，其江夏领土从未落入过孙家之手，而仅有军民被虏走的记载，此外，黄祖军还有射杀凌操 、徐琨 的小胜。自199年、203年、204年、206年、207年，与孙氏军队有过交战5次的纪录。

公元208年（建安十三年），孙权遣军进行再度西伐黄祖。面对孙权的进攻，黄祖任部将张硕 为先锋，陈就 为舰队首领，本人留守江夏。战前，张硕率部乘大船侦察江岸，却被同样在侦察的凌统 发现。当时，乘小船的凌统身边只有数十勇士， 但仍登上了张硕的船，可能是在夜幕掩护下伪装成张硕部卒，奇袭张硕军。张硕被凌统所杀，所部水兵尽数被擒。

得知张硕被杀，黄祖当即命陈就率两艘蒙冲舰守沔口， 还让大力士和弓箭手在河边的崖顶埋伏，向敌军的大船投掷石头和火把。为了打败黄祖的蒙冲，周瑜 派出大舰队，却被崖顶掷下的石头摧毁。几小时的战斗过后，周瑜认识到黄祖的军械并非如此欠缺，孙权只能面对士卒疲惫伤亡惨重的现实。

为了扭转战局，周瑜命凌统、董袭率100敢死队每人穿上两件盔甲乘大船冒着石头和火把冲锋。经过艰苦的战斗，凌统、董袭最终成功切断了两艘蒙冲间的联系，这也鼓舞了孙权军的斗志。吕蒙在近战中格杀陈就。失去首领的黄祖大军反被处于少数的孙权军歼灭。在吕蒙全歼黄祖军之前，凌统分兵攻陷江夏。

无力抵抗孙权的黄祖逃离江夏，却被骑士冯则追上枭首。孙权下令将黄祖首级盛放在容器中验看。得到黄祖首级后，孙权将其献祭亡父孙坚。

黄射，为章陵太守。

在小说《三国演义》中，黄祖生平与正史大体相当，在第七回《袁绍磐河战公孙 孙坚跨江击刘表》出场，孙坚攻打刘表，黄祖初战溃败，而后在在岘山率部射杀孙坚，与前来相救的黄盖相遇，战不两合，被黄盖生擒。刘表不忍放弃黄祖，于是用孙坚的尸首换回黄祖。

在第二十三回《祢正平裸衣骂贼 吉太医下毒遭刑》，曹操以弥衡出使荆州，因侮慢刘表，刘表感到羞耻所以容不下他，刘表知祖性急，故送衡与祖，黄祖酒醉后，因祢衡出言相辱，将其斩杀。

在第三十八回 《定三分隆中决策 战长江孙氏报仇》与第三十九回《荆州城公子三求计 博望坡军师初用兵》，建安年间，屡为策、权所破，以 甘宁为贼，固而不用，宁遂投权。终败，为宁所杀。

刘表置江夏太守。祖常为荆州军前部，以拒 江东孙氏。孙坚跨江击表时，黄祖引军往援，初战溃败，而后其部下射杀孙坚于岘山。曹公以 祢衡使荆州，因侮慢表，表耻而不能容，知祖性急，故送衡与祖。衡为作书记，轻重疏密，各得体宜。祖执其手道：“卿真是处士，这正得我本意，如道我腹中之所欲言。”祖长子射，为章陵太守，与衡相善。后祖会客，衡出言不逊，祖甚惭，乃呵叱之，衡更相诋讥，祖大怒，欲罚之。衡骂，祖恚怒不能止，遂令杀之。射徒跣来救，亦已不及。祖亦悔其事，乃厚加棺敛。建安四年，祖遣子射引船军五千人助刘勋。孙策复就攻，大破刘勋，射亦遁走。十一年，祖遣将邓龙领兵数千人入柴桑，为周瑜讨击，虏龙。十三年，将甘宁雄猛逸才，然而出身帆贼，祖以凡人相待，宁往投权。春，权复征祖，权将吕蒙、凌统、董袭等大破黄祖。祖挺身亡走，骑士冯则追枭其首。

【公元192年】东汉献帝初平三年袁术使孙坚征荆州，击刘表。刘表遣黄祖迎敌于樊、邓之间。为孙坚所击破，追渡汉水，被围于襄阳；不久孙坚单马行岘山，为黄祖军士所射杀。《典略》曰：“坚悉其众攻表，表闭门，夜遣将黄祖潜出发兵。祖将兵欲还，坚逆与战。祖败走，窜岘山中。坚乘胜夜追祖，祖部兵从竹木间暗射坚，杀之。”

【公元198年】东汉献帝建安三年其时曹操派祢衡出使荆州，因侮慢刘表，刘表耻而不能容，心知江夏太守黄祖性急，故送祢衡与黄祖，黄祖亦能善待祢衡。祢衡为作书记，轻重疏密，各得体宜。黄祖执其手道：“卿真是处士，这正得我本意，如道我腹中之所欲言。”黄祖长子黄射，为章陵太守，尤祢衡相善。后黄祖在蒙冲船上，大会宾客，而祢衡出言不逊，黄祖甚惭，乃呵叱之，祢衡更相诋讥，黄祖大怒，令属下拉出祢衡，欲加以刑罚；祢衡破口大骂起来，黄祖恚怒不能止，遂令杀之。黄祖主簿素恶祢衡，实时加杀。黄射徒跣来救，亦已不及。黄祖亦悔其事，乃厚加棺敛。 

【公元199年】东汉献帝建安四年《江表传》曰：时孙策西讨黄祖，黄祖遣子黄射引船军五千人助刘勋。孙策复就攻，大破刘勋。黄射亦遁走。孙策收得刘勋兵二千余人，船千艘，便前进夏口攻黄祖。时刘表遣从子刘虎、南阳人韩晞带长矛军五千，来为黄祖前锋。孙策与之交战，大破表、祖。吴录载策表曰：“臣讨黄祖，以十二月八日到祖所屯沙羡县。刘表遣将助祖，并来趣臣。臣以十一日平旦部所领江夏太守行建威中郎将周瑜、领桂阳太守行征虏中郎将吕范、领零陵太守行荡寇中郎将程普、行奉业校尉孙权、行先登校尉韩当、行武锋校尉黄盖等同时俱进。身跨马栎陈，手击急鼓，以齐战势。吏士奋激，踊跃百倍，心精意果，各竞用命。越渡重堑，迅疾若飞。火放上风，兵激烟下，弓弩并发，流矢雨集，日加辰时，祖乃溃烂。锋刃所截，猋火所焚，前无生寇，惟祖迸走。获其妻息男女七人，斩虎、（狼）韩晞已下二万余级，其赴水溺者一万余口，船六千余艘，财物山积。虽表未禽，祖宿狡猾，为表腹心，出作爪牙，表之鸱张，以祖气息，而祖家属部曲，扫地无余，表孤特之虏，成鬼行尸。诚皆圣朝神武远振，臣讨有罪，得效微勤。”

【公元203年】东汉献帝建安八年孙权西伐黄祖，破祖舟军，但城未克而山寇复动，于是退走。

【公元206年】东汉献帝建安十一年江夏太守黄祖遣将领邓龙领兵数千人入柴桑，被吴将周瑜讨击，邓龙被虏。

【公元207年】东汉献帝建安十二年孙权又西征黄祖，虏其人民而还。

【公元208年】东汉献帝建安十三年巴郡人甘宁有雄猛逸才，然而出身帆贼。他往依刘表，居于南阳，不见进用，后转托黄祖，黄祖又以凡人相待。

孙策：“祖宿狡猾，为表腹心，出作爪牙，表之鸱张，以祖气息。”

甘宁：“祖今年老，昏耄已甚，财谷并乏，左右欺弄，务于货利，侵求吏士，吏士心怨，舟船战具，顿废不修，怠于耕农，军无法伍。至尊今往，其破可必。”（《三国志吴书甘宁传》）