第二年春天，叛軍發(fā)生內(nèi)訌，安祿山的兒子安慶緒殺了安祿山，自己稱帝。要消滅叛軍，這本來(lái)是個(gè)好機(jī)會(huì)。但是肅宗急于回長(zhǎng)安，不聽(tīng)李泌的計(jì)劃，把郭子儀的人馬從河?xùn)|調(diào)回，強(qiáng)攻長(zhǎng)安，結(jié)果打了一個(gè)敗仗。后來(lái)，郭子儀借了回紇（我國(guó)古代北方民族之一，紇音ｈé）的精兵，集中了十五萬(wàn)人馬，才把長(zhǎng)安攻了下來(lái)。接著，又收復(fù)了洛陽(yáng)，叛亂頭目安慶緒逃到河北，史思明也被迫投降。

　　唐軍收復(fù)了長(zhǎng)安和洛陽(yáng)，唐肅宗覺(jué)得心滿意足，用駿馬把李泌接到長(zhǎng)安。

　　唐肅宗的寵妃張良娣和宦官李輔國(guó)，嫌李泌權(quán)大，早就互相勾結(jié)，想把李泌除掉。

　　太子李俶發(fā)現(xiàn)張良娣他們想害李泌，就告訴了李泌。李泌說(shuō)：“不打緊。我和皇上有約在先，等收復(fù)京城，我就歸山，就沒(méi)有事了。”

　　這回，李泌見(jiàn)唐軍收復(fù)兩京，算是了卻一個(gè)心愿，決心離開朝廷。

　　有一天晚上，唐肅宗請(qǐng)李泌喝酒，并且留他一起睡。李泌趁機(jī)會(huì)就對(duì)肅宗說(shuō)：“我已經(jīng)報(bào)答了陛下，請(qǐng)讓我回家再做個(gè)閑人吧！”

　　唐肅宗說(shuō)：“哎，我和先生共了幾年患難，現(xiàn)在正想跟您一起享受安樂(lè)，怎么您倒要走了呢？”

　　李泌懇切地說(shuō)：“我和陛下結(jié)交太早；陛下太重用我，信任我。就是因?yàn)檫@些緣故，我不能不走。”

　　唐肅宗說(shuō)：“今天先睡吧，隔天再說(shuō)。”

　　李泌說(shuō)：“今天我跟陛下坐在一個(gè)榻上談話，你不答應(yīng)我。將來(lái)到了公堂上面，就沒(méi)有我說(shuō)話的余地了。如果你不讓走，那就等于殺我了。”

　　唐肅宗雖然不愿讓李泌離開，但是經(jīng)不住李泌一再請(qǐng)求，只好同意。

　　李泌到了衡山（在今湖南�。�，在山上造個(gè)屋子，重新過(guò)他的隱居生活。

　　李泌走了以后，唐肅宗身邊少了一個(gè)正直的大臣，李輔國(guó)等一批宦官的權(quán)力就大起來(lái)了。