卻說上皇聞李輔國與張後內外比附弄權，心中忍耐不祝一日，肅宗來問安，說了些朝務。上皇道：“從來治國必先齊家，今聞閹奴李輔國附比中宮，怙勢作威，汝知之否？”肅宗悚然起應道：“容即查治。”言訖而退。原來張後恃寵驕悍，肅宗因愛而生畏，不敢少加聲色。李輔國掌握兵柄，阿附張後，倚勢弄權。肅宗雖亦心忌之，隻是奈何他不得。故雖承上皇嚴諭，亦隱忍不發。那知上皇這言語，早被內侍們傳入李輔國耳中。輔國密地啟知張後，各懷怨怒，相與計議道：“上皇深居宮禁，安知此事。此必是高力士妄生議論，聞於上皇故也。力士為上皇耳目，當圖去之，更須使官家莫要常與上皇相見，須遷上皇於西內為妙。”卻說上皇所居興慶宮與民間閭闔相近。其西北隅有一高樓，樓上可見街市。上皇時常臨幸此樓。街市過往的人，遙望叩拜。
上皇有時以禦膳餘剩之物，命力士宣賜街市中父老，人都歡樂，共呼萬歲。李輔國便借端密奏肅宗道：“上皇居興慶宮，而高力士日與外人交通，恐不利於陛下。且興慶宮與民居逼近，非至尊所宜居。西內森嚴，當奉迎太上居之，庶可杜絕小人，無有他虞。”肅宗道：“上皇愛興慶宮，今無故遷徙西內，殊拂聖意，斷乎不可。”輔國見肅宗不從，乃密啟張後。張後將欲上奏，適肅宗偶觸風寒，身子不豫，暫罷設朝，隻於宮中靜養。
輔國遂乘此機會與張後定計矯旨，遣心腹內侍及羽林軍士，詣興慶宮見上皇奏道：“皇爺稱興慶官逼近民居，有褻至尊。故特請駕幸西內。皇爺現在西內候太上駕到。”上皇心下驚疑不決。高力士奏道：“既皇帝有旨來迎，太上可且一往，俟至彼處與皇帝麵言，或遷或否，再作計議。”上皇無奈，隻得上輦，力士令軍士前導，內侍擁護鑾輿。將至西內，李輔國前來迎接。
車駕入西內，至甘露殿上。上皇下輦，升殿坐定，問：“皇帝何在？”輔國奏道：“皇爺適間正欲至此迎駕，因觸風寒，忽然疾作，不能前來，令奴輩轉奏，俟疾稍痊，即來朝見。”說罷叩辭而去。上皇連聲歎息。力士道：“今日遷宮之舉，必是輔國作祟，皇後主張，非皇帝聖意。”上皇道：“興慶宮是朕所建，於此娛老，頗亦自適。不意徙居此地，煢煢老身，幾無寧處，真可為長歎息。”說罷，淒然欲淚。那時，李輔國矯旨遷上皇於西內，恐肅宗病愈見責，乃托張後先為奏白。肅宗駭然道：“得毋驚太上乎？”張後道：“上皇已安於此，並無他言。”肅宗想張後、輔國如此作為，亦無可奈何。及病小愈，即欲往朝，又被張後阻祝再過數日，肅宗命駕往西內，朝見上皇起居畢。上皇沒甚言語，唯有谘嗟歎息。肅宗心上不安，逡巡告退。回至宮中，張後接見，又冷言冷語。
肅宗受了悶氣，舊病複作。上皇聞知，遣高力士來問疾。肅宗聞上皇有使臣到，即命宣來。哪知張後與輔國正恨力士，要處置他。便遣小內侍假傳口諭，教他回去。待力士轉身回步後，方傳旨宣召。力士連忙再回到宮門，輔國早劾奏說：“高力士奉差問疾，不候旨見駕，擅自轉回，大不敬，宜加罪斥。”張後立逼肅宗降旨，流高力士於巫州，不得複入西內。一麵遣中官奏聞上皇，一麵著該司即日押送力士赴巫州安置。後力士聞上皇晏駕，追念君恩，日夜痛哭，嘔血而死。
當時上皇聞力士被罪遠竄，益發慘然。左右使令都非舊人。
止有舊樂工張野狐、賀懷智、李等三四人隨侍。上皇每日思念梅妃與楊妃，涕淚不已。時有一方士姓楊名通幽，自稱鴻都道士，聞上皇追念故妃，因自言有李少君之術，能致亡靈來會。
李聞知，薦於上皇，召入西內，要他作法，招引楊妃、梅妃的魂魄來相見。通幽乃於宮中結壇，焚符發檄，步罡誦經，竭其術以致之，竟無影響。上皇不勝嗟歎。通幽道：“二妃必非凡品，當是仙子降生，故難招來。臣請遊神馭氣窮幽極渺，尋取仙蹤回報。”遂俯伏壇中，運出元神，遊行霄漢。忽見一白鸚鵡展翅飛翔，作人言道：“尋人的這裏來。”通幽知是仙禽引路，就隨其飛而行。忽見一所宮殿，那鸚鵡飛入宮中去了。