安政5年(1858年)8月1日，出生于筑前国福冈(现在的福冈县福冈市)荒户町，作为福冈藩士马回役神尾家之丞的四子。乳名驹吉。12岁的时候，成为福冈藩奉行团尚静的继子。在藩校修猷馆学习。明治4年(1871年)，与金子坚太郎一起作为旧藩主黑田长知的随岩仓使团同行赴美，在那里留学。毕业马萨诸塞工科大学矿山专业，明治11年(1878年)回国。一起赴美了的金子坚太郎进入哈佛大学，此后二人的朋友也持续，后来干脆与金子坚太郎的妹妹芳子结婚。回国后，大曾任大阪专门学校、东京帝国大学副教授。教授工学和天文学。1884 年转入工部省。成为矿山局副局长，三池矿山局工程师。为了采煤技术再次赴欧洲学习。明治21年(1888年)三池矿山被政府卖给三井以后，就到了三井，就任三井三池煤矿公司事务长。进行了被认为是三大工程的三池港的海港，铁路的施工、大牟田河的疏浚，利用赴欧的时候学会的大型水泵技术，解决了没于水中的竖坑的排水问题。明治26年(1893年)三井矿山合资公司专职理事。1899年被授予工学博士称号。明治42年(1909年)三井矿山会长。这个时候，因为团琢磨的经营手腕，三井矿山的利益超过三井银行，与三井物产并肩，三池矿山被称为「三井的手提式保险箱」，1914年接替益田孝就任三井合股公司理事长，成为三井财团的最高领导人。在大正6年(1917年)时设立日本工业俱乐部，就任第一代理事长。1922年和井上准之助建立日本经济联盟会，翌年变成同理事长，1928年同会长，成为名符其实日本经济界、金融界的旗手。同年被授予着男爵位。1925—1926 年率实业团出访欧美，鼓吹对外经济侵略。1928 年受封男爵，次年带领资本家诸团体，反对《劳动组合法案》。1931 年九一八事变后，以其为首的三井财阀趁政府即将禁止黄金出口而抢购美元，引起风潮，若槻礼次郎内阁谴责抢购美元为卖国投机，但同年12 月为犬养毅内阁上台后再度禁止黄金出口，财团转眼获得了巨额利润。为此国民对财阀、政府的不信任感倍增，血盟团则以其为目标，于1932 年3 月在三井正楼门前被血盟团团员菱沼五郎刺杀。