父子倆在相互猜忌中營造著“父慈子孝”的局麵，李隆基住興慶宮，李亨住大明宮，李亨經常通過兩宮之間的夾道去看望李隆基，而李隆基偶爾也前往大明宮看望李亨，甚至有幾次，父子倆在夾道中不期而遇。
對於李隆基的物質生活，李亨也非常照顧，他安排陳玄禮、高力士、王承恩、魏悅、玉真公主以及宮女如仙媛在李隆基左右侍奉，皇家梨園弟子也陪伴在李隆基身邊。總體而言，李隆基在生活水準方麵前後差別不大，如果說有差別，也就是少了一個楊貴妃。
回到長安以來，李亨便刻意保持著與父親之間的微妙平衡，隻是他的心中依然充滿忌憚，他的忌憚讓李輔國有了空子可鑽。
李輔國決定鬥高力士之後，便開始著手收集李隆基的“劣跡”，不久，“劣跡”積累成冊。
劣跡一：李隆基經常登臨靠近大街的長慶樓，長安百姓路過時會抬頭仰望，並且高呼萬歲；
劣跡二：某年某月的某一天，劍南道一位奏事官經過樓下時給李隆基請安，李隆基居然把他叫上樓，然後讓玉真公主和如仙媛做東，設宴款待；
劣跡三：某年某月的某一天，將軍郭英乂等人路過樓下，被李隆基邀請上樓參加宴席。
不一而足。
看完李隆基的斑斑“劣跡”，李輔國微微一笑：“太上皇，你該下馬了。”
隨後的一天，李輔國看似不經意地提起了話頭：“太上皇居住的興慶宮靠近街市，與外人的聯係太多了，而且陳玄禮、高力士這些人很可能對陛下不利，當初跟隨陛下到靈武郡的六軍功臣都為此擔心不已，所以最好還是把太上皇從興慶宮遷入禁宮中居住吧！”
李亨聽完，沒有表態。
李輔國一看李亨的表情，他得出了結論：默許！
李輔國知道，李亨不僅猜忌太上皇李隆基，而且猜忌陳玄禮、高力士那些跟隨李隆基到蜀郡的功臣，他的不表態就是默許，自己可以在他的默許下把這些人一勺燴了。
李輔國很快邁出了第一步。
原本在李隆基的興慶宮，有三百匹良馬，李輔國傳李亨“旨意”：牽走二百九十匹，隻留下十匹。
史書上對李輔國這次行為，稱之為“矯詔”，其實，如果不是李亨默許，借他一萬個狗膽他也不敢！
眼看二百九十匹良馬被牽走，李隆基無奈地對高力士說：“我兒用李輔國這個狗東西，恐怕他的孝心無法堅持到底了。”
公元七六〇年七月十九日，李輔國邁出了關鍵的第二步：讓李隆基搬家。
這一天，李輔國先假傳李亨旨意：恭請太上皇到太極宮遊玩，李隆基不疑有他，饒有興致地踏上了遊玩之旅。
好心情一直保持到睿武門，這時突然出現五百名神箭手擋住了去路，李隆基大吃一驚，險些從馬背上摔了下去。
李隆基定了定神，問道：“來者何人？”
這時，李輔國率領數十名全副武裝的騎兵趕了過來，就在馬背上對李隆基奏報道：“皇帝認為興慶宮潮濕狹窄，特意請太上皇回宮中居住！”
李隆基一下明白了，這是要逼自己搬家！
李隆基正不知所措，高力士大聲怒喝道：“太上皇足足當了五十年太平天子，李輔國你想幹什麼！你給我下馬說話！”
也怪了，李輔國在高力士麵前就是硬氣不起來，他灰溜溜地下了馬，站到高力士麵前。
這是習慣的力量。
看看周圍，李輔國回過味來了，絕不能在高力士麵前示弱。
李輔國衝高力士惡狠狠地罵道：“老家夥，真不懂事！”
然而，李輔國還是不敢把高力士怎麼樣，他隻能把氣撒到別人身上，抬手一刀，砍死了高力士一個隨從。
高力士意識到李輔國有可能犯渾，便衝著五百神箭手高喊一聲：“太上皇讓我向大家問好！”
五百神箭手畢竟受過傳統教育，便一起將刀收進刀鞘，跪地高喊萬歲。
這一下，李輔國的氣焰被打了下去，無論他如何鼓動，神箭手是不可能在太上皇麵前撒野的。
高力士轉頭對李輔國說：“李輔國，給太上皇牽馬！”
李輔國恨得牙根發癢，又無法發作，隻能乖乖地和高力士一起為李隆基牽馬，一行人來到了李隆基的新居住地——甘露殿。
李隆基一看甘露殿的護衛，心徹底涼了，這裏居然隻有幾十個護衛，而且一看都是老弱病殘。
李隆基在心中問自己，這就是我最後的歸宿嗎？
高力士走了過來，淚眼婆娑，他不知道該如何安慰李隆基。
李隆基拉過高力士的手，說道：“沒有你，朕可能已經成了刀下鬼了。”
李隆基說完，左右都流下了熱淚，他們都沒有想到，一個雄視天下五十年的太平天子居然要遭受這樣的侮辱。