1925年，关海山出生于广东广州，自小就跟随父亲关耀辉在梨园粤剧团学艺。
1936年，开始入戏行，是文武全才的粤剧小生，活跃于街头的粤剧舞台，擅长饰演英俊小生和达官贵人。曾加入由粤剧名伶任剑辉、白雪仙担纲的新声剧团。
1937年，抗战后关海山来到香港发展。
1950年，开始参与电影演出；到了1960年，关海山已升格为粤语电影的“首席小生”。
1962年，在电影《红孩儿》中饰演唐僧；同年在电影《仗义还妻》中饰林思勉
；后又在电影《火龙怒吞双虎将》饰演王成。
1963年，参演电影《不斩楼兰誓不还》；同年又参演电影《烽火恩仇十六年》。
1964年，参演电影《阵阵美人威》；同年又在电影《孙悟空七打九尾狐》客串角色。
1965年，在黄鹤声执导的电影《大红袍》中饰演嘉靖皇帝；同年又出演黄鹤声执导的电影《孙悟空三戏百花仙》；后又在电影《血染蝴蝶山》中饰演陈胜。
1966年，出演罗炽执导的电影《女黑侠血战黑龙党》，饰演关警官；同年又在黄鹤声执导的电影《孙悟空大战群妖》饰演主角唐僧。
1967年，在关志坚执导的香港电影《月向那方圆》中饰演林国昌；同年又在电影《甜蜜蜜的姑娘》中饰演施天成。
1971年，在吴丹执导的香港电影《日月神童》中，饰演日父；同年又在电影《薛丁山三弃樊梨花》中饰演薛子龙。
1976年，关海山加入香港无线电视（TVB），出演电视剧《书剑恩仇录》，饰演角色绵里针陆菲青；同年参演电影《亲情》；后又在电影《誓不低头》扮演角色。
1979年，出演郑裕玲主演的香港电视剧《天虹》。1980年，参演香港电影《A计划》，饰演陆警主管戚帮办；同年参演电影《辣手神探》；后又在香港电影《家有喜事》扮演角色。
1981年，出演香港TVB电视剧《过客》。1982年，出演TVB电视剧《天龙八部》。
1983年，参演电视剧《播音人》；同年在香港电影《男与女》扮演角色；同年又出演黄日华、翁美玲主演的电视剧《射雕英雄传》。
1984年，出演台湾中视版，周绍栋主演的电视剧《鹿鼎记》。
1986年，在香港TVB版梁朝伟主演电视剧《倚天屠龙记》中饰胡青牛。
1989年，出演电视剧《盖世豪侠》；同年在电视剧《他来自江湖》饰文立贤。
1990年，在张艾嘉主演的电影《庙街皇后》扮演角色。
1991年，参演电影《五亿探长雷洛传》，凭借该片获得第11届香港电影金像奖最佳男配角和第28届台湾电影金马奖最佳男配角；同年出演香港TVB电视剧《大家族》。
1992年，参演贺岁电影《家有质隆罚在戏中以搞笑形象饰演老人痴呆父亲；同年出演电影《天若有情Ⅱ之天长地久》；后又在香港TVB电视剧《巨人》中饰麦约翰。1993年，在香港TVB电视剧《原振侠》中饰荣耀。
1994年，在电视剧《情浓大地》中饰关学儒；同年在电视剧《第三类法庭》中饰演角色湛大侠。
1995年，出演梁家辉主演的电影《狂野生死恋》；同你又参与电视剧《娱乐插班生》的拍摄，出演何汝大。
1996年，在香港TVB电视剧《天地男儿》中饰叶胜；同年在电视剧《壹号皇庭V》中饰演棠叔。
2000年，出演吴镇宇执导的电影《自从他来了》；同年又在电视剧《京城教一》中饰演谭宗政。
2001年，获得无线电视颁发的“万千光辉演艺大奖”；同年参演电视剧《公私恋事多》，饰演唐学濂。
5.0电影