萨摩藩士柴山良草庵第三子，哥哥柴山良助和 东乡平八郎， 萨英战争时随军。明治政府作为开拓者之一，1872年留学美国2年。回国后就呆在海军兵工厂，专门研究武器，日本的第一枚水雷和鱼雷都是他造的，因此被称为日本鱼雷之父。1879年9月15日水雷练习所长，1883年2月6日担任水雷局长。长期在兵工厂工作，很少上舰。西南的的时候隶属于于炮兵大队。后来在浅间号上实习了一年，1876年)之后，再次回到兵工厂，因此舰长经验不过筑波号、海门号、高千穗号3艘而已。

1886年2月24日参谋本部第2局长就任，作为 西乡从道的随员视察欧美各国，1887年回国，10月8日成为舰政局次长，历任军令军政的要职。可是作为同乡的晚辈的 山本权兵卫开始显露头角，山本的革新派与柴山的保守派的派争夺空前激烈。柴山失败被赶出中央。

可是作为军事专家柴山的能力还是受到很高的评价。在甲午战争开战时，以大佐军衔破格出任佐世保镇守府长官。一周后晋升少将。 1897年10月8日晋升中将，担任常备舰队司令长官。成为日本舰队的最高军职，1899年1月19日就任海军大学校长，1900年5月20日，担任吴镇守府司令长官，正当其打算平静迎接退休生活时， 日俄战争爆发了，1905年1月7日，旅顺口陷落后，成为旅顺口镇守府第一代长官，主要是利用他军事专家的才能去打捞沉没在港内的俄国战舰及消除布在港外密密麻麻的水雷，他圆满的处理了这一切，结果11月13日晋升大将。由于他无血战之功而任大将，招致了一部分人的妒忌，散布谣言说非是萨摩出身的人不可能成为大将，如果是萨摩的，不打仗也能成大将。1907年2月14日被编入预备役，大正9年7月13日退伍。以后与海军断绝关系，死后被最赠正二位。埋在东京多磨陵园。

明治05(1872).02.03 美国留学（开拓使派遣）

明治07(1874).02 帰朝

明治07(1874).08.05 海军中尉

明治07(1874).08.17 炮兵队附

明治07(1874).08.30 武库司出勤（水雷制造挂）

明治07(1874).09.20 武库司出勤（水雷制造挂）/水雷制造局

明治08(1875).02.07 武库司造兵课出勤

明治08(1875).05.02 海军大尉

明治08(1875).05.03 炮兵科炮兵大队副长

明治08(1875).05.27 炮兵科炮兵大队副长/兵器局水雷制造挂

明治08(1875).12.28 朝鲜国派遣（镗屠泶笫咕溃/p>

明治09(1876).03.09 炮兵大队副长

明治09(1876).06.23 浅间佔/p>

明治10(1877).02.22 筑波佔/p>

明治10(1877).10.13 海兵出勤

明治12(1879).09.15 水雷练习所长

明治12(1879).12.27 海军少佐

明治15(1882).09.08 海军中佐

明治16(1883).02.06 水雷局长

明治17(1884).02.08 水雷局长/军事部/军事部第三课长/第四课长

明治17(1884).02.09 水雷局长/军事部第三课长/第四课长

明治17(1884).12.16 水雷局长/军事部第第二课长

明治18(1885).06.20 海军大佐

明治19(1886).02.24 参本海军部第二局长

明治19(1886).07.07 欧美各国派遣

明治20(1887).06.30 帰朝

明治20(1887).10.08 海军省舰政局次长/兵器课长

明治22(1889).03.09 海军省第二局长心得

明治22(1889).05.15 筑波舰长

明治24(1891).02.06 横须贺镇守府参谋长

明治24(1891).12.14 海门舰长

明治26(1893).04.20 高千穂舰长

明治26(1893).12.20 海军兵学校校长

明治27(1894).07.13 佐世保镇守府司令长官心得

明治27(1894).07.30 海军少将 佐世保镇守府司令长官

明治30(1897).10.08 海军中将 常备舰队司令长官

明治32(1899).01.19 海军大学校长/将官会议议员

明治33(1900).05.20 呉镇守府司令长官

明治38(1905).01.07 旅顺口镇守府司令长官

明治38(1905).11.13 海军大将

明治39(1906).02.02 待命

明治39(1906).04.01 功二级

明治40(1907).02.14 予备役

明治40(1907).09.21 男爵

大正04(1915).07.13 后备役

大正09(1920).07.13 退役

大正13(1924).01.27 正二位 殁(73