至德二年（757年）十月，郭子儀率大軍打敗安祿山叛軍，唐軍收複長安後，肅宗返回京師長安。坐穩皇帝寶座的肅宗被張良娣和李輔國所惑，提升李輔國為殿中監，領閑廄、五坊、營田、裁接、總監使，兼隴右群牧、京畿鑄錢、長春宮等使，又為少府、殿中二監都使。由此可見，肅宗對李輔國的恩寵是何等優渥。此時的李輔國已不再是昔日皇宮中養馬院安分守己的養馬小兒和管賬先生了，由於官越升越大，權越握越重，肅宗對自己越發信任，他的心中權力欲火也越燒越旺。當然，富有心計的李輔國也清楚，眼下想過宰相癮為時尚早，當務之急是穩固自己現有的地位。為了鞏固自己的地位，李輔國又設置偵聽數十人分散在各地，負責監視官員的一舉一動，收集各方麵的情報。在這些探子們的監視下，各地官員的言行都十分小心，誰稍有一點不利於李輔國的言行，馬上就會遭到刑訊。各州縣報上的案子及對官員的處罰，全都是李輔國一個人說了算，從不講什麼國家法律，全由他個人的好惡決定，他也從來不向皇上彙報。
李輔國正是利用這一切，限製和打擊不利於自己的人。宰相李峴是宗室成員，他對李輔國專權感到很擔心，於是多次勸諫肅宗，不許李輔國專權亂政。這使李輔國非常嫉恨，便千方百計找機會進行報複。一次，天興縣令處決了風翔馬場一個搶劫的犯人，其實這是在執行國法，為民除害，但別有用心的李輔國卻極力縱容這位搶劫犯的妻子多次上告，說這是一起冤案。在李輔國的操縱下，上告最後成功。於是李輔國乘機大作文章，使一批敢於執法的正直官員被貶。由於宰相李峴與此案有牽連，也被貶為蜀州刺史。李輔國就是這樣，利用一切卑劣的手段，一個一個鏟除可能動搖自己地位的人。
對那些順從依附自己的人，不管是什麼東西，李輔國也會千方百計地收買拉攏，並且封官許願，培植自己的勢力。
有一個名叫申泰芝的奸佞小人，看到李輔國在朝中的權勢日盛，便專拍他的馬屁，以求得個一官半職。李輔國用人心切，不久即推薦他當了諫議大夫，後來看申泰芝對自己還是忠心耿耿，又向肅宗奏請，在道州置軍，讓他擔任軍校。這還不算，又假傳聖旨賞賜緋紫品官衣服。結果這申泰芝露出了流氓本相，帶領這些穿金紫衣服的軍士，到處進行搶劫，鬧得當地雞犬不寧。當地人對他們恨之入骨，卻又沒有辦法。申泰芝狗仗人勢，根本不把地方官放在眼裏，雖然有人對他的行為有所指責，但他依然故我。潭州刺史龐承鼎對申泰芝的行為進行了調查，準備為當地除害。就在申泰芝路過潭州北上時，把他捉拿歸案，繳獲他搶來的大量錢財。人贓俱在，按國家法律應判申泰芝死罪。李輔國的探子們在申泰芝被捕之後，早已把消息傳給李輔國，李輔國立刻矯詔，要龐承鼎派人護送申泰芝進京，此案不了了之，使罪犯逍遙法外。不久，李輔國卻另找借口，殺害了潭州刺史龐承鼎。國家的法律公然被當權者踐踏，令朝野之士齒冷，但礙於他的權力，隻有敢怒不敢言。
張良娣被冊封為皇後，使李輔國感到腰杆更硬了，他與皇後勾結得更加緊密了。他們相互勾結利用，權力更加大了。在張皇後的幫助下，李輔國掌握了禁衛軍，肅宗還在宮內賞賜給李輔國一套住宅。宰相、文武百官要和皇上討論國家大事，都得經過李輔國事先同意。就是皇帝下的詔書，必須經過他的簽署，才能得以施行。官員們屈於他的權勢，沒有人敢提出疑義。
其實肅宗對李輔國橫行朝中，張皇後幹預政事、培植死黨早有耳聞，心裏十分沉重，但事已至此，又拿他們沒有辦法。雖然前有宰相李峴陳奏輔國專權亂政之事，肅宗也下詔分輔國之權，但仍無濟於事。反而使李峴被貶。自此沒人敢再上書言及李輔國。真是權傾朝野，令人側目。
李輔國有效地打擊了自己的敵人之後，氣勢更加囂張，他每次外出，都有數百名武士前呼後擁，好不威風，滿朝文武，都尊稱其為“五郎”。就連當朝宰相李揆，出身名門望族，被肅宗稱為門第、人物、文章三絕，仍屈於輔國的淫威，稱他為“五父”，對他執弟子之禮。可見此人權勢之一斑。
小人一旦得誌，確實什麼事情都幹得出來。要麼是出於無知，要麼便是實在控製不住自己的野心。至德二年十二月李輔國又得加開府儀同三司，封郕國公，賜允常住內宅，內宅在皇宮裏。恰好同月裏唐玄宗從四川避難後返回長安。唐玄宗與肅宗經過離亂之後重逢，父子難免互訴流離之苦，因此常在一起談論事變後的一些事情。這李輔國作賊心虛，內心十分緊張。再加上他出身微賤，雖然成了暴發戶，但玄宗周圍的人都很看不起他，這令他非常氣憤。真是又恨又怕。於是他私下裏暗自謀劃，一定要想辦法把玄宗除掉。玄宗的回來，張皇後的心裏也著實緊張。因為玄宗在位時就不喜歡她，她當時隻是肅宗身邊的一個良娣。她擔心玄宗能否給肅宗施加影響，使自己失寵。小人總是以自己卑劣的心理去揣度別人，越想越覺得是這麼回事。張皇後、李輔國於是再次勾結在一起，決定把唐玄宗除掉。連太上皇他們都敢算計，其猖狂的程度可想而知了。
唐玄宗回到長安之後，更加想念在安史之亂中死去的楊貴妃，常常一個人暗自哭泣。事有湊巧，玄宗回來不久，張皇後的兒子李佋患病死去，張皇後十分悲痛，大約是悲極生怨，她硬是把兒子的死同玄宗聯係在一起，於是向肅宗哭訴說：“老不死的總是哭泣，殃及我的兒子。”從此她更恨玄宗。
肅宗十分關心父親的生活，為了讓玄宗忘掉過去的一切，快樂地度過晚年，他加派了一些宦官、宮人和梨園子弟在玄宗身邊。玄宗住在興慶宮的長慶樓，長慶樓四周的風景十分宜人，玄宗常常在樓上觀賞景色。長慶樓的南邊是大路，有時在樓下過往的老百姓看到玄宗，都跪拜於地，口呼萬歲，玄宗有時也順便在樓下準備些酒食招待他們。尤其外地來京的官員經過長慶樓時，也都順便來拜見玄宗，玄宗都下樓接見，並讓龍武大將軍陳玄禮、內侍太監高力士等陪他們吃飯。李輔國的暗探們早已把這事告知他，他也曾親自看到過人們對玄宗的崇敬之情，這使他萬分恐懼，他害怕玄宗在百官及百姓的擁戴下再度得勢。他知道，如果這樣自己的一切都將化為泡影。他越想越怕，越覺得玄宗的威脅太大，由此加劇了他讒害玄宗之心。當然，他知道肅宗與玄宗有父子之情，如果明目張膽地害玄宗，肅宗決不會答應。於是便假裝對玄宗十分關心的樣子，反複對肅宗說：“太上皇住的興慶宮，離街市太近了，經常有一些外地官員和當地百姓打擾他，常常與外邊的人往來並不是一件好事。我聽說太上皇身邊的龍武將軍陳玄禮和太監高力士等人圖謀不軌，企圖奪您的權。如今禁衛六軍的將士，都是您在靈武時擁戴您作皇帝的功臣，他們現在都感到惶恐不安，我反複向他們解釋，他們還是不放心，我不得不如實向您奏報。”肅宗為人膽小，但比較正派，因此他不太相信李輔國的話，他沉思著說：“上皇年事已高，他不會再來奪取皇位。”李輔國覺得肅宗平時對自己信任有加，言聽計從，今天說到他父親，可能有些不順耳，於是轉過話頭說：“上皇即使本人沒有這個想法，但他能控製住他身邊的那些人嗎？為了國家的安定，現在最重要的是把上皇搬到禁宮住。這樣既可以避開塵囂，又能夠杜絕那些圖謀不軌的人。再說他搬到禁宮後，你們父子還可以常相見，有什麼不好呢？”肅宗為難地說：“上皇願意住在興慶宮，我怎能忍心強讓他搬走呢？”這時張皇後馬上插嘴附和李輔國，說：“我們替陛下考慮，還是讓上皇搬遷好。這樣可以避免後患，請陛下深思。”肅宗仍然覺得這樣不妥，搖頭不語。張皇後不高興地說：“陛下今日不聽良言勸告，日後不要後悔。”說著轉身退了下去。肅宗覺得玄宗確實不可能同自己爭奪皇位，早在安史之亂發生不久，父親已經有意把皇位讓給自己，要不是楊國忠兄妹竭力阻攔，詔書就會下來。現在父親在興慶宮安度晚年，如果強令他遷至禁宮，他一定會有想法。李輔國見肅宗沉思不語真的有些急了，說：“陛下是國家的主宰，應當為國家考慮，應把禍亂消滅在萌芽前，不可以學那些普通人的所謂孝。”說著也轉身出去。