嘉永二年（1849年）5月1日生于鹿儿岛。毕业于日本海军兵学校第4期，在筑波、云扬、雷电、孟春、日进舰上服役；1879年9月19日晋升海军少尉；1881年12月17日晋升海军中尉；1884年4月8日晋升海军大尉，先后又在千代田形、天城、大和舰上服役；1890年9月17日晋升海军少佐，并出任摩耶、鸟海舰舰长；1894年6月8日出任秋津洲舰舰长，甲午战争中作为第一游击队一员，先后参加了丰岛、黄海、威海卫三场海战；1895年7月25日任常备舰队参谋长；1899年2月1日赴英国接收朝日舰回国，同年9月26日晋升海军少将，出任军务局长；1902年10月29日任常备舰队司令官；1903年9月5日晋升海军中将，任出云号巡洋舰第二舰队司令官。

　　蔚山海战

　　日俄战争爆发后，俄国海军驻海参崴基地，由3艘装甲巡洋舰（格罗姆鲍伊号、俄罗斯号、留里克号）为基干组成的巡洋舰分舰队，在双方公告开战的当天，就出现在日本海域，进行破交作战。这支分舰队频繁出击，给日本海上运输造成相当大的麻烦。尤其6月15日俄海参崴分舰队在对马海峡附近击沉日本的“常陆丸”、“佐渡丸”（一个近卫团的陆军官兵葬身海底，并损失了18门攻城重炮）。当担任海峡警备任务的日本联合舰队第二舰队赶到现场时俄舰早已全无踪影。海参崴分舰队继续沿日本本州岛西海岸向北扫荡，击沉3艘、拦截4艘并俘虏2艘货船后，平安返航。 日本举国哗然，联合舰队第二舰队司令上村彦之丞中将的家宅被民众捣毁。7月海参崴分舰队穿过津轻海峡，沿日本东海岸南下，击沉了多艘货船，并出现在东京湾附近海域，京畿震动，日本集结大规模兵力拦截，而俄舰队再次平安返航。　

　　8月12日，俄海参崴分舰队南下对马海峡，接应驻旅顺的俄国太平洋舰队突围撤往海参崴（该舰队已于8月10日被击溃）。 8月14日凌晨，海参崴分舰队在对马海峡遭遇联合舰队第二舰队的4艘装甲巡洋舰（出云、常磐、磐手、吾妻）。 5点20分，日舰开始炮击。日舰在数量、火力、航速方面占有优势。俄舰试图突破日舰拦截。位于舰列末尾的俄舰留里克号在日舰重点打击之下舵机受损脱离队列，丧失战斗力。俄舰试图救助留里克号，最后放弃。8点30分，俄舰格罗姆鲍伊号、俄罗斯号通过不断机动突破日舰堵截。日舰磐手号受伤先行返航，吾妻号发生故障，最终日舰放弃追击。留里克号为避免被日舰俘虏自沉。

　　而后参加了著名的对马海战，在波罗地海舰队的正前方，虽然这么说但也有8000米左右的距离。一齐回头的时候，第二舰队也紧跟着，不久就给予俄国舰队先头舰“苏沃洛 夫”号、“奥斯利亚比亚”号以集中炮击。战斗约30分钟，以为胜负已分的时候，一直被日本联合舰队压制住，向东向东行进的三号舰“博罗地诺”号开始尝试正面突破，向北转向。看到这个，东乡长官命令舰队再次掉头。当然，上村的第二舰队也跟着行进。可是，“博罗地诺”号似乎察觉到日本舰队的动作，停止北进再次向东转舵。东乡判断错误，居然跟了下去。

　　上村长官的眼里、认为博罗地诺号是无意识转向，他的参谋佐藤铁太郎中佐也做出了“苏沃洛夫公爵号是舵机故障”的判断，于是上村果断地做了一个“抗命”的决定，他没有跟着第一战队一起转弯，而是直接插了下去，还是压在波罗的海舰队的前面。如果按照命令，跟在东乡舰队后面也掉头的话，就被“博罗地诺”号 以下俄国舰队逃掉了。日俄战争以后为了维持东乡平八郎的“圣将”形象，军令部一直将这次第一战队180度大转弯瞒了下来，真相一直到二战日本海军彻底战败以后清算历史时才被重新提起。

　　因此，上村舰队独断专行，停止掉头，直进追击“博罗地诺”号的向东南方。就这样，接近至3000米左右，展开猛烈的炮击战。当时的海战，6000米就能够命中，所以说3000米就是撞击觉悟、拼刺觉悟的猛攻击了。所以被对方击中很多炮弹。死伤者不断出现。可是，上村舰队终于等到东乡主力舰队 慌慌张张的掉头回来参加炮击战为止，一直阻断敌舰队退路英勇奋战。正是因为上村长官这个貌似违反命令、间不容发的判断，对状况的正确判断下独断专行的柔软战法，在某种意义上导致了日本海海战的完胜。这就是上村彦之丞作为指挥官的勇敢之处。

　　东乡平八郎评价说：上村是个感情强烈的男人。