1901年6月1日(农历4月15日)，林惠祥出生于福建晋江县的一个小商之家。自幼聪颖好学，特别喜欢听大人们讲神话、传说之类的故事。九岁入私塾，即能熟读所学诗文。1926年毕业于厦门大学。1927年秋，林惠祥考入了菲律宾大学研究院人类学系，并跟从美国教授拜耶（H·O·BEYER）作人类学的研究工作，1928年毕业，获人类学硕士学位。1929年任中央研究院特约编辑员，后参加该院民族学组研究工作。1931年任厦门大学历史社会学系主任、教授。中华人民共和国建立后，任厦门大学历史系主任、人类博物馆（我国第一个人类博物馆）馆长、南洋研究所副所长（所长由厦门大学校党委书记兼任）。他从事东南亚和中国东南地区考古发掘和民族调查研究，是中国对台湾省高山族最早进行调查研究的学者，著有《台湾番族之原始文化》。他对民族文化和中国民族的来源及划分系统等问题，颇多创见。他的《文化人类学》一书确立了中国人类学体系，受到当时学术界的普遍重视与欢迎；另一著作《中国民族史》获得国内外学者好评。他还先后参加调查和发现武平、龙岩、长汀、闽侯等地的新石器，并撰写了有关台湾新石器、福建古民族、中国与东南亚古民族的关系等方面的论文。1929年和1935年他两次冒险只身深入日本侵占下的台湾，调查高山族(当时称番族)，获得圆山新石器和高山族文物。1934年，为普及人类学知识，他运用自己搜集、发现的考古和民族文物，创办了厦门市人类博物馆筹备处。抗日战争爆发后，他携带文物避难南洋，继续从事东南亚的考古和民族研究。

曾祖父在台湾经商，事业发达，至父亲林毓鉴时家道已衰落，仅经营小商业。惠祥自幼随父在台湾生活，至宣统元年(1909年)回故乡蚶江入私塾读书。民国元年，考入福州东瀛学堂，学业成绩全班第一。毕业后，因家贫不能升学，在家自修，经过两年刻苦攻读，中英文都达到中学毕业程度，还能翻译英文小说。民国8年(1919年)，惠祥随父回台湾，又转往菲律宾，在一家米厂任书记员，因对商业不感兴趣，工余仍自学诗文不辍。

民国10年（1921年），陈嘉庚创办厦门大学。惠祥以同等学历考取文科社会学系，为厦门大学招收的第一批学生之一。在厦学习期间，成绩优良，连获甲等奖学金2次，并在厦门中华中学兼任史地和社会科教员。民国15年，获文学士学位，为厦门大学第一届毕业生。先在该校预科任教1年，然后到菲律宾大学研究院人类学系跟随美国导师拜尔教授学习人类学，仅1年时间，就取得人类学硕士学位。

民国17年(1928年)5月回国，先在南京中央研究院任研究员，致力于人类学(包括考古学、民族学、民俗学和博物馆学等)的研究，除了撰写专著，还深入台湾等地作民族学和考古学的野外调查工作。民国18年，受中央研究院院长蔡元培之托，冒着生命危险，到日本占据下的台湾调查台北圆山新石器时代遗址和高山族文化遗俗，后写成《台湾番族之原始文化》一书，由中央研究院出版，为国内系统调查研究台湾高山族第一人。他把在台北基隆圆山发现的新石器时代的贝冢和高山族地区所发现的新石器等民族文物都带回大陆，分别收藏于南京博物院和厦门大学人类博物馆筹备处。

民国19年(1930年)9月，惠祥回到厦门大学，担任文学历史社会学系教授兼主任。民国24年(1935年)，再次冒险到台湾高山族聚居地区调查，又带回一批高山族文物，并将两次到台湾调查所搜集的考古、民族文物，陈列于校中人类博物馆。民国19～26年抗日战争爆发这段期间，致力于人类学专著的写作和出版，其中《文化人类学》一书，对人类学总论、略史以及物质文化、社会组织、宗教艺术、语言文字等，都有精辟的论述；对于中国原始社会组织、婚姻制度等问题，也有独到的见解，民国23年(1934年)由商务印书馆出版，列为“大学丛书”之一。同期，他又撰著《中国民族史》(上、下两册)，对中华民族的来源、历史发展、分类系统等问题，颇多创见，民国25年(1936年)由商务印书馆出版，是当时中国民族学专著中最完整详尽的一部。后来该书被日本学者中村、大石合译成日文，受到国内外民族学界的重视与引用。此外，他还先后出版《民俗学》、《世界人种志》、《神话论》等专著，为奠定中国研究人类学有关分科基础作出重要贡献。

民国23年(1934年)，惠祥在厦门大学西侧顶澳仔住家二楼，创办厦门大学人类博物馆筹备处，将自己历年搜集的考古、民族、民俗等文物，连同华侨、热心人士捐赠的文物一起陈列，供校内师生及校外各界人士参观，为中国第一家人类学专科博物馆。

民国26年(1937年)暑假，惠祥自费到闽西考察，发现武平新石器时代的石器和印纹陶等文物。这是中国东南地区最先发现的新石器时代的遗址。他从武平新石器时代文物的研究中，认为石锛、有段石锛和印纹陶，是东南古越族及其先民的遗物，是中国东南地区古文化的特征。这些创见，为他后来的考古发现所证实，得到其他考古学家的承认。

是年，抗日战争爆发，惠祥携带文物、图书避往南洋。民国27年(1938年)1月，他在参加新加坡远东史前学家第三届国际学术会议上，宣读《福建武平之新石器时代遗址》论文，受到与会各国教授专家的重视。在新加坡期间，任新加坡南洋女中教员和《星外》半月刊编辑，虽然生活环境困苦，仍坚持考古和民族问题研究，先后撰写《马来人与中国东南方人同源说》、《南洋人种总论》、《南洋民族与华南古民族的关系》等论文，还编译《菲律宾民族志》、《婆罗洲民族志》、《苏门答腊民族志》等专著，成为中国研究南洋问题，尤其是研究南洋和南洋考古的开拓者和倡导者之一。年底，他陪同菲律宾侨领李俊承到印度游历，同时作考古和民族调查，从恒河流域到尼泊尔边境，历时两个多月，获取大量印度考古和民族文物等资料。

民国28年(1939年)冬，担任槟榔屿钟灵中学校长，积极提倡、参与捐资筹赈活动，支援祖国的抗日战争。民国30年(1941年)，他发现马来亚吉打史前洞穴遗址，挖掘出一批旧石器时代的遗物。

日本侵略军侵占南洋后，他避居后港务农，生活极其艰苦，仍千方百计保存文物图书。当时，外国学者要用高价收购他所藏的文物图书，他始终拒绝，不为金钱名利所动。有一次，日本宪兵无理搜查他的住宅，他家里收藏有一箱古武器(内有日本刀枪)，若被查出，将有生命危险。在搜查中，他面对强暴，毫无惧色，安然端坐在箱子上面，结果未被查出，侥幸逃脱劫难。

民国34年(1945年)秋至民国36年(1947年)夏，在新加坡参加陈嘉庚主持的有关南洋华侨筹赈会活动资料的整理编辑工作，协助整理出版刊物，参加《南侨回忆录》一书的编辑出版工作。

民国36年(1947年)夏，重返祖国，仍到厦门大学任教，担任历史系教授。任教期间，因积极支持进步学生运动，反对内战，并在他主持历史系举办的人类学标本展览会中，传播进步刊物，掩护进步学生活动，受到国民党特务的注意。民国38年(1949年)，厦门国民党当局在溃败撤退前夕，将惠祥拘捕入狱。不久，中国人民解放军攻占厦门，方幸免于难。

中华人民共和国成立后，惠祥任厦门大学历史系教授兼系主任，并被选为厦门市人民代表、厦门市侨联副主席。他以满腔热情参加社会主义建设。1951年，他将搜集的人类学珍贵文物图书捐献给厦门大学。同时，积极倡导、主持建立厦门大学人类学博物馆，并任馆长。1955年惠祥当选为福建省政协委员。1957年9月，加入中国共产党。

1951年，惠祥在参加惠(惠安)东土地改革中，根据调查采访和搜集的实物资料，撰写《长住娘家风俗的起源及母系制到父系制的过渡》，论证惠安“长住娘家”(不落夫家)婚俗的特点及起源。他又应厦门市有关部门的要求，调查厦门港渔民(疍民)的习俗。他还经常到福建各地进行考古调查，先后发现龙岩、惠安、永春、闽侯、长汀等地的新石器时代遗址，除了撰写各地遗址研究论文外，经过宏观研究，撰写并发表《中国东南区新石器文化特征之一：有段石□》等多篇重要考古论文，受到国内外学者的重视。

为了丰富人类博物馆陈列内容，惠祥亲自和技术人员一道，塑造原始社会与古人类大模型，编写人类博物馆陈列品说明书，利用考古发现、民族调查、社会搜集各种途径，增添陈列品。

惠祥生活非常俭朴，经常利用废纸作稿纸，一张纸要两面都利用。为了节约公家开支，出差不坐软卧只坐硬卧；住旅馆也不住大旅社，而住小客店，经常是三四人挤在一间。他常将家中物品拿到馆中使用。1956年，惠祥接受国家高教部委托，培养考古学副博士研究生。他一生培养的学生遍布国内外，其中不少人已成为教授、专家。同年10月以后，惠祥发现自己患有高血压病症，仍带病工作，白天到人类博物馆上班，晚上坚持撰写书稿论文。1958年，还把自己仅有的1幢楼房捐赠给厦门大学。他爱好武术，经常在学校运动会上表演，屡获奖状。

他一生留下专著18种，论文和译文70～80篇。

1958年2月13日晚上，猝然脑溢血逝世。骨灰安葬在厦大校园内。

在人类学教学上，惠祥积极倡议在厦门大学成立人类学系和人类学研究所。由于当时国内人类学正处于分科发展阶段，他的倡议未被采纳(直到他逝世后的1984年4月，国家教育部才批准厦门大学成立人类学研究所；同年9月，厦门大学增置人类学本科，招收人类学研究生)。为了教学需要，他编著《考古通论》教材，把考古学的内容归纳为古迹与古物两大类；又把古物分为石器、铜器、陶瓷器、玉器、明器、骨角器等类，分析说明考古学的发掘技术和研究方法。内容简练，分类明晰，独树一帜，得到国内外学者的重视。惠祥授课，深入浅出，很受学生欢迎。先后开设的课程有《社会发展史》、《人类学通论》、《中国民族史》、《亚洲各国史》、《南洋史》、《考古学通论》等20多种。

著有《文化人类学》、《中国民族史》、《苏门答腊民族志》、《婆罗洲民族志》、《民俗学》、《世界人种志》、《神话论》等。