肃宗乾元初 , 太尉李光明弼荐李抱玉为军内官吏 , 屡建战功 , 很快脱颖而出。不到两年 , 就由右羽林大将军升为持节郑州 ( 今属河南 ) 诸军事兼郑州刺史等职。当时正值安史之乱 , 全国军事形势吃紧。史思明攻陷东都洛阳时 , 李光弼固守河阳 ( 今河南孟县东南 ), 叛军攻势凶猛。李光弼召见李抱玉说:“将军能为我守二日南城吗 ? ”抱玉反问道:“过期以后怎么办呢 ? ”光弼说:“如果过期援军还没有赶到 , 将军可弃城而去。”李光弼对抱玉的毅力和机警是十分了解的 , 才将如此重要的任务交给了这位年轻的战将。安史叛将周挚及安太清、徐黄玉等先进攻南城 , 南城危在旦夕。看到死守己不可能 ,李抱玉在城墙上对叛军将领喊话:“我军城中粮食已经耗尽 , 等到明天一定投降 ! ”叛军听后 , 喜出望外 , 收军以等天明受降。李抱玉利用争取来的有限时间 , 立即动于修缮工事 , 整顿内部。等天一亮 , 李抱玉便“坚壁请战”。叛军才知中了缓兵之计 , 便立即发起进攻。已做好充分准备的李抱玉派出奇兵 , 内外夹攻 , 杀伤甚众 , 周挚不得不率叛军撤退。在固守河阳、收复怀州(今河南沁阳 ) 的过程中 , 李抱玉均功居第一。他因战功显赫而升任泽州 ( 今山西晋城 ) 刺史兼御史中丞，封栾城县公。代宗即位后 , 抱玉兼泽潞 ( 治今山西长治 ) 节度使 ,统相( 今河南安阳 )、卫( 今属河南 )、邢( 今河北邢台 )等十一州兵。后因功授司空 , 兼兵部尚书 , 封武威郡王。抱玉多次上书恳辞王爵 , 代宗只好改封其为凉国公 , 进司徒。

　　代宗广德元年 ( 七六三年 ) 十月 , 吐蕃攻陷京师长安 ( 今陕西西安 ) 达十余日 , 皇帝出逃陕州 ( 今河南三门峡西 ) 。败兵及其附近城乡的一些人相聚为盗 , 其中尤以长安南子午等五谷的势力最大 , 他们攻掠当地官府及居民 , 一时人心恐慌。朝廷派太子宾客薛景仙为南山五溪谷防御使 , 引兵招捕 , 但收效甚微。于是代宗下诏由李抱玉率兵讨伐。李抱玉首先对子午等五谷的地形和特点做了认真调查 , 在此基础上制订围剿方案。他派兵分别驻守诸谷要地 , 断绝起事者之间的联系 , 然后令牙将李崇客率领四百精锐骑兵 , 以迅雷不及掩耳之势 , 在挑林、被川发起奇袭。不过句日 , 五谷就被平息 , 起事者首领高玉等被活擒。李抱玉平息了这次威胁京师的起事 , 皇帝下诏由其代理凤翔 ( 今属陕西 ) 、陇右 ( 今甘肃东部及青海乐部一带 ) 节度使。

　　吐蕃趁唐境内形成藩镇割据的局面 , 每年都要进行骚扰。朝廷以岐阳 ( 今陕西境内 ) 为国家的西部门户 , 将守卫西部国门的重任寄托在李抱玉身上。抱玉此时迁同中书门下平章事 , 兼山南西道节度使、河西陇右山南西道副元帅、判梁州 ( 今陕西汉中 ) 事 ,连统三道节制 ,兼领凤翔、潞( 今山西长治 ) 、梁三大府 , 秩同三公。李抱玉因自己位极人臣 , 多次上疏恳辞司空及山南西道节度、判梁州事 , 乞退授兵部尚书。皇帝嘉其功高而谦让 , 位隆而不骄 , 批准了他的请求。李抱玉镇守凤翔达十余年之久 , “禁暴安人 , 颇为当时所称”。这在当时也确属难能可贵。