黄土水生于台北市艋舺，1907年，因父亲去世投靠大稻埕三哥处。因黄土水三哥为木匠，受其影响，对雕刻产生兴趣。1917年于师范学校毕业后，受师长推荐前往东京美术学校雕塑科留学，是第一位东京美术学校台籍生。1920年，再入该校研究科。除此，他并先后学艺于日本知名雕塑家高村光云与朝仓文夫。

1920年，他的《蕃童》雕塑作品入选日本帝展，为台人第一。之后并有《释迦牟尼像》、《水牛群像》、《甘露水》（帝展）、《摆姿态的女人》（帝展）、《郊外》（帝展）等知名作品。1930年他因腹膜炎病逝于东京池袋寓所，年仅35。

1931年，在台北东门町曹洞宗别院举行追悼会，葬于三桥町墓地（现林森公园、康乐公园）。

黄土水的作品于1980年代后期台湾本土化之后，大受欢迎。其作品常视为台湾雕塑界的逸品。

山童吹笛（1918）石膏像，入选1920年第二届帝国美术院展览会，为台湾艺术家首次入选日本最高权威美术展之例。原作下落不明。

甘露水（1919）大理石雕像，入选1921年第三届帝国美术院展览会。原藏于台湾省议会，之后下落不明。

女孩胸像（1920）大理石雕像，黄土水致赠母校大稻埕公学校（现台北市立太平国民小学）典藏。

摆姿势的女人（1922）入选1922年第四届帝国美术院展览会。原作下落不明。

帝雉、华鹿（1922）献日本宫内省（现宫内厅）典藏。

郊外（1924）入选1924年第五届帝国美术院展览会。原作下落不明。

南国的风情（1927）入选第一届东京圣德太子美术奉赞展览。原作下落不明。

释迦出山（1927）受台北龙山寺委托制作。原作木雕像毁于1945年台北大空袭中，后由幸存之石膏原模进行翻铸，分别典藏于台湾省立美术馆（现国立台湾美术馆）、台北市立美术馆、高雄市立美术馆、国立历史博物馆、艋舺龙山寺、台南开元寺、黄土水家属。1997年，北美馆又再度翻铸五座，被外界质疑馆方是否翻制过多。

久迩宫邦彦亲王夫妇像（1928）献久迩宫典藏。

水牛群像（1930）石膏浮雕，黄土水生平最后的大作，亦为最为知名之经典作。原作嵌于台北中山堂后厅壁上，并存三件原模复制作，藏于台湾省立美术馆（现国立台湾美术馆，玻璃纤维制）、台北市立美术馆（青铜制）、高雄市立美术馆（青铜制）。