1925年，关海山出生于广东广州，自小就跟随父亲关耀辉在梨园粤剧团学艺。

1936年，开始入戏行，是文武全才的粤剧小生，活跃于街头的粤剧舞台，擅长饰演英俊小生和达官贵人。曾加入由粤剧名伶任剑辉、白雪仙担纲的新声剧团。

1937年，抗战后关海山来到香港发展。

1950年，开始参与电影演出；到了1960年，关海山已升格为粤语电影的“首席小生”。

1962年，在电影《红孩儿》中饰演唐僧；同年在电影《仗义还妻》中饰林思勉；后又在电影《火龙怒吞双虎将》饰演王成。

1963年，参演电影《不斩楼兰誓不还》；同年又参演电影《烽火恩仇十六年》。

1964年，参演电影《阵阵美人威》；同年又在电影《孙悟空七打九尾狐》客串角色。

1965年，在黄鹤声执导的电影《大红袍》中饰演嘉靖皇帝；同年又出演黄鹤声执导的电影《孙悟空三戏百花仙》；后又在电影《血染蝴蝶山》中饰演陈胜。

1966年，出演罗炽执导的电影《女黑侠血战黑龙党》，饰演关警官；同年又在黄鹤声执导的电影《孙悟空大战群妖》饰演主角唐僧。

1967年，在关志坚执导的香港电影《月向那方圆》中饰演林国昌；同年又在电影《甜蜜蜜的姑娘》中饰演施天成。

1971年，在吴丹执导的香港电影《日月神童》中，饰演日父；同年又在电影《薛丁山三弃樊梨花》中饰演薛子龙。

1976年，关海山加入香港无线电视（TVB），出演电视剧《书剑恩仇录》，饰演角色绵里针陆菲青；同年参演电影《亲情》；后又在电影《誓不低头》扮演角色。

1979年，出演郑裕玲主演的香港电视剧《天虹》。1980年，参演香港电影《A计划》，饰演陆警主管戚帮办；同年参演电影《辣手神探》；后又在香港电影《家有喜事》扮演角色。

1981年，出演香港TVB电视剧《过客》。1982年，出演TVB电视剧《天龙八部》。

1983年，参演电视剧《播音人》；同年在香港电影《男与女》扮演角色；同年又出演黄日华、翁美玲主演的电视剧 《射雕英雄传》。

1984年，出演台湾中视版，周绍栋主演的电视剧《鹿鼎记》。

1986年，在香港TVB版梁朝伟主演电视剧《倚天屠龙记》中饰胡青牛。

1989年，出演电视剧《盖世豪侠》；同年在电视剧《他来自江湖》饰文立贤。

1990年，在张艾嘉主演的电影《庙街皇后》扮演角色。

1991年，参演电影《五亿探长雷洛传》，凭借该片获得第11届香港电影金像奖最佳男配角和第28届台湾电影金马奖最佳男配角；同年出演香港TVB电视剧《大家族》。

1992年，参演贺岁电影《家有囍事》，在戏中以搞笑形象饰演老人痴呆父亲；同年出演电影《天若有情Ⅱ之天长地久》；后又在香港TVB电视剧《巨人》中饰麦约翰。1993年，在香港TVB电视剧《原振侠》中饰荣耀。

1994年，在电视剧《情浓大地》中饰关学儒；同年在电视剧《第三类法庭》中饰演角色湛大侠。

1995年，出演梁家辉主演的电影《狂野生死恋》；同你又参与电视剧《娱乐插班生》的拍摄，出演何汝大。

1996年，在香港TVB电视剧《天地男儿》中饰叶胜；同年在电视剧《壹号皇庭V》中饰演棠叔。

2000年，出演吴镇宇执导的电影《自从他来了》；同年又在电视剧《京城教一》中饰演谭宗政。

2001年，获得无线电视颁发的“万千光辉演艺大奖”；同年参演电视剧《公私恋事多》，饰演唐学濂。

关海山经历过四段婚姻（头三段婚姻都没有正式注册），膝下有四女三子：当中包括第一任妻子(于广州认识)的养女；另外还有第二任妻子黄丽(于越南认识)所生的长子关楚雄，次子关聪（前无线小生），女儿关婉清等、第三任妻子叶娥瑞（于马来西亚认识）的女儿关至莹，以及最后一任妻子曾娣蓉（于新加坡邂逅）所生的幼子关可维。

2001年中风后，关海山淡出娱乐圈。2006年9月11日凌晨关海山在住所被妻子发现全身僵硬，送往医院救治，延至上午七时许不治，享年82岁。