第二年春天，叛軍發(fā)生內(nèi)訌，安祿山的兒子安慶緒殺了安祿山，自己稱帝。要消滅叛軍，這本來是個(gè)好機(jī)會(huì)。但是肅宗急于回長(zhǎng)安，不聽李泌的計(jì)劃，把郭子儀的人馬從河?xùn)|調(diào)回，強(qiáng)攻長(zhǎng)安，結(jié)果打了一個(gè)敗仗。后來，郭子儀借了回紇（我國(guó)古代北方民族之一，紇音ｈé）的精兵，集中了十五萬人馬，才把長(zhǎng)安攻了下來。接著，又收復(fù)了洛陽，叛亂頭目安慶緒逃到河北，史思明也被迫投降。

　　唐軍收復(fù)了長(zhǎng)安和洛陽，唐肅宗覺得心滿意足，用駿馬把李泌接到長(zhǎng)安。

　　唐肅宗的寵妃張良娣和宦官李輔國(guó)，嫌李泌權(quán)大，早就互相勾結(jié)，想把李泌除掉。

　　太子李俶發(fā)現(xiàn)張良娣他們想害李泌，就告訴了李泌。李泌說：“不打緊。我和皇上有約在先，等收復(fù)京城，我就歸山，就沒有事了。”

　　這回，李泌見唐軍收復(fù)兩京，算是了卻一個(gè)心愿，決心離開朝廷。

　　有一天晚上，唐肅宗請(qǐng)李泌喝酒，并且留他一起睡。李泌趁機(jī)會(huì)就對(duì)肅宗說：“我已經(jīng)報(bào)答了陛下，請(qǐng)讓我回家再做個(gè)閑人吧！”

　　唐肅宗說：“哎，我和先生共了幾年患難，現(xiàn)在正想跟您一起享受安樂，怎么您倒要走了呢？”

　　李泌懇切地說：“我和陛下結(jié)交太早；陛下太重用我，信任我。就是因?yàn)檫@些緣故，我不能不走。”

　　唐肅宗說：“今天先睡吧，隔天再說。”

　　李泌說：“今天我跟陛下坐在一個(gè)榻上談話，你不答應(yīng)我。將來到了公堂上面，就沒有我說話的余地了。如果你不讓走，那就等于殺我了。”

　　唐肅宗雖然不愿讓李泌離開，但是經(jīng)不住李泌一再請(qǐng)求，只好同意。

　　李泌到了衡山（在今湖南省），在山上造個(gè)屋子，重新過他的隱居生活。

　　李泌走了以后，唐肅宗身邊少了一個(gè)正直的大臣，李輔國(guó)等一批宦官的權(quán)力就大起來了。