公元572年六月，北齐后主派使者到梁州、兖州去，就地将斛律武都处死，又派中领军贺拔伏恩乘驿车去捉拿斛律羡，仍旧以洛州行台仆射中山人独孤永业代替斛律羡，和大将军鲜于桃枝征发定州的骑兵继续前进。贺拔伏恩等到幽州，守城门的人告诉斛律羡：“来的人内穿衣甲，马身有汗，应当关闭城门。”斛律羡说：“怎能怀疑皇上派来的使者把他们拒之城外！”便出城会见使者。贺拔伏恩将他捉住处死。当初，斛律羡时常为一家权势太大而惧怕，曾经上表请求解除自己的职务，后主不许。临刑时，他叹息说：“如此富贵，女儿是皇后，满家是公主，日常使用三百名士兵，怎能不败！”他的五个儿子斛律伏护、斛律世达、斛律世迁、斛律世辨、斛律世酋都被处死。

公元576年十二月，甲寅（初十），开府仪同三司贺拔伏恩等宿卫近臣三十多人向西投奔北周军队，北周国主对他们分别封赏。庚申（十六日），北齐后主进入邺城。北周军队包围了晋阳，他们的军衣和旗帜都是黑色，所以城的四面就像黑云一般。安德王高延宗命令莫多娄敬显、韩骨胡在城南抵抗，和阿干子、段畅在城东抵抗，自己率领众军在城北抵抗北周的齐王宇文宪。高延宗身体肥胖，前看象仰面朝天，后看像俯伏在地，人们常常取笑他的模样。这时，他挥舞长矛来回督战，强劲有力敏捷得象飞一般，指向哪里，谁也抵挡不住。和阿干子、段畅率领一千骑兵直奔北周的军队。北周国主进攻晋阳的东门，当时天色昏暗，便进到城里，放火焚烧城里的佛庙。高延宗、莫多娄敬显从城门进入，两面夹击，北周军队大乱，争着逃出城门，城门间人群填塞挤压，堵住了道路无法前进。北齐人从后刀砍矛刺，北周军队死了二千多人。北周国主左右的人几乎都已死散，自己走投无路。承御上士张寿牵着马头，贺拔伏恩用鞭子抽打马的后部，困难艰险地出了城。齐人奋勇追击，几乎打中了他。晋阳城东的道路狭隘弯曲，贺拔伏恩和投降北周的皮子信在前面带路，这才幸免于死，这时已经是深夜四更。高延宗以为北周国主已经被乱兵所杀，派人在堆积的尸体中寻找留有长胡须的人，没有找到。当时北齐人打了胜仗，到街坊间饮酒，都喝醉了睡在地上，高延宗无法整理队伍。