樋口兼光是木曾义仲乳母之子，他和弟弟今井兼平一起出仕木曾义仲，以木曾义仲的忠臣而闻名于世。承治元年（1180年） 义仲举兵时即左右相随、在各地转战。寿永2年（1183年）在 俱利伽罗峠之战等战役立下断绝平氏大军后路的战功。1183年7月随木曾义仲攻入京都。1183年10月木曾义仲奉后白河法皇的命令率军进攻逃到关西的平氏政权，樋口兼光受命留守京都监视后白河法皇。在后白河法皇和木曾义仲对立期间，樋口兼光随军在法住寺之战中拘捕后白河法皇。

元历元年（1184年）正月木曾义仲率军向河内国石川进发，讨伐反叛自己的源行家、源义资。在此期间从关东出发进攻木曾义仲的镰仓军，从背后向木曾义仲发起了袭击。粟津之战中木曾义仲战败身死。第二天由于得到木曾义仲身死的消息，而向京都撤退的樋口兼光被源义经部队抓获。正月26日樋口兼光和木曾义仲的首级一起被移交给检非违使。2月2日在源赖朝的命令之下，由涉谷高重行刑斩首。当时 源范赖和 源义经都曾为他求情未果。

此外，日本战国时代 上杉景胜著名的军师 直江兼续(本名樋口兼续)即为他的子孙。