阿巴库莫夫年轻时曾当过杂工、包装工、装卸工、武装警卫队队员。1930年，当他在苏联消费合作社中央联社一个库房给自己谋取到一个职位后，被吸收入党，他的仕途也由此开始。

后来，阿巴库莫夫被选为压力机厂共青团支部书记，而后被任命为共青团莫斯科郊区委员会军事处处长。

1932年，阿巴库莫夫凭一纸党内介绍信被调入内务人民委员部系统。头一年他先后任苏联人民委员会国家政治保安总局莫斯科州代表处经济处（负责同国民经济中的破坏活动作斗争）侦缉办案人员和特派员。1933年他被调往国家政治保安总局中央办公厅经济局，1937年，他被调入内务人民委员部国家安全总局二处。这个处专门从事搜查、逮捕、跟踪和安装窃听器等活动。

1938年12月阿巴库莫夫从莫斯科转移到罗斯托夫，在那里他很快的升迁为内务人民委员部罗斯托夫分部的领导人。他于1941年2月12日回到莫斯科，在国家安全人民委员部担任少校职务。接下来国家安全人民委员部与内务人民委员部合并，他被任命为副内务人民委员，成为了拉夫连季·帕夫洛维奇·贝利亚的助手。1941年7月19日，阿巴库莫夫成为了内务人民委员部特别行动部部长。内务人民委员部特别行动部旨在在苏联红军中进行情报搜集和内部安全工作。在德国军队进攻苏联并多次击败苏联军队后，遵照斯大林的指示，阿巴库莫夫负责了对红军指挥官的清洗工作，1943年4月，当国防人民委员部反间谍总局（SMERSH）被建立的时候，阿巴库莫夫被任命为其中的一员，获得国家安全二级政委军衔。并被任命为副国防人民委员。

二战结束后，1946年，他又被任命为苏联国家安全部的首脑并受贝利亚的指挥。

在1949年的列宁格勒事件中，阿巴库莫夫被牵连。1952年末谢苗·杰尼索维奇·伊格纳季耶夫接替了阿巴库莫夫在国家安全部的职位，阿巴库莫夫被捕并且贝利亚也处于危险之中。1953年，斯大林逝世，然而阿巴库莫夫并没有恢复自由，他最后因为他于贝利亚的密切关系受到审问。并于1954年12月18日被枪决。

阿巴库莫夫喜欢晚上在城里一边散步，一边吩咐副官给老太太们发钞票，每人100卢布。那些老太太感谢他，为他祈祷。

阿巴库莫夫喜欢跳狐步舞、踢足球、吃烤肉串，烤肉串通常都是从“阿拉格维” 饭店送来的。

1951年7月阿巴库莫夫被逮捕时，从这位前部长的家里查抄到各种布匹1260米、许多银制餐具、16只男表、7只女表、100双鞋。一箱吊裤带、65对衬衫领扣。