帝国大学毕业后进日本银行，又去英、美留学。1913年任横滨正金银行董事长。1919年任日本银行总裁。1923年任第二次山本权兵卫内阁的大藏大臣，并负责处理关东大地震的善后工作。1927年再次出任日本银行总裁，同年任浜口雄幸内阁的大藏大臣，并加入民政党，为该党核心人物。1931年留任于第二次若槻礼次郎内阁。在浜口雄幸、若槻两内阁任职期间，实行紧缩财政、发行公债、开放黄金出口，导致黄金大量外流，金融危机加深。1932年2月，在选举活动中被血盟团成员小沼正暗杀。著有《战后我国的经济及金融》等书。后刊有《井上准之助论丛》全四卷。