另一方麵，漢宣帝有個心理問題，一直沒有得到舒解。
我們都知道，君權是至高無上的，專製體製的宣傳係統一直講君權神授，來自上天。而實際上，皇帝都是托祖宗的福，祖宗打下了江山，天下就成了一姓的私產。對於漢宣帝來說，情況有點特殊了，他的權力——當然他知道這權力也是至高無上的——卻來自於霍光。這種情況也出在漢文帝那裏，不過，漢文帝要感謝的是一群人，而漢宣帝則隻有一個報恩對象。向一群人感恩壓力不大，而且有玩平衡的空間，漢文帝可以對周勃不客氣，對陳平等其他擁立他的人格外客氣就行了，這就不算忘恩，也可以孤立周勃。漢宣帝麵對的是一個人，而這個人，之前既輔佐過一個皇帝，還廢過一個皇帝，具有“上天”一樣的權力，這是讓漢宣帝倍感壓力的原因，既不能對霍光失禮，稍微失禮就會招致輿評，也確實打心眼裏不敢造次，萬一惹惱霍伯伯，會把自己再廢掉。
霍光應該清楚自己扮演的雙重角色：既是可以授予某位劉氏子弟君權的“神”，又是自己擁立的君主手下的大臣，在平常的日子裏要恪守臣道。這個角色不好扮演，外部的壓力和內心的煎熬都很沉重，後世有很多手握廢立大權的權臣都無法忍受權力的誘惑，把魔戒戴在了自己手上。
這是一個死結，在數學上不存在一個既比A大又比A小的B，在政治上，這樣的B很難自處，A也很難受，如“芒刺在背”已經是最輕微的感受了。
霍顯和她的子侄們過多看到了霍光扮演“神”的一麵，既然君權都可以由自己的老公授予人，那還有什麼不可以做呢？聞聽皇帝立劉奭，她咆哮道：“此乃民間時子，安得立！即後有子，反為王邪！”這哪裏是大將軍夫人的口吻，而是皇太後的口吻了。
霍光活著的每一天，漢宣帝都得承受著巨大的心理壓力，從霍光性格和行事風格推斷，他對宣帝不會凶巴巴的，但也不大會像長輩那樣有事沒事流露出慈祥的笑容，而張安世是這樣的。霍光是嚴肅的，不苟言笑的，表麵很平靜但眼睛裏麵卻有著控製一切的力量，這讓年輕的宣帝手足無措，既不敢幹脆離開崗位到一邊頹廢，喝酒泡妞，把權力交給這位威嚴的伯伯（萬曆和張居正就走到了這個方向），又不能當真行使皇帝的權力，隻能扮演一個聽話的小學生，他找不到和霍光在一起相處的恰當的心理狀態。
霍光一死，宣帝劉詢的這種壓抑感就會釋放，他的權力從這一天起不再是任何人送給他的了，而是神授，是上天賜予，當然他也會從心底解除被廢掉的威脅，他對朝廷內外的其他任何人，再沒有“欠債”的感覺，從這一天起，始知為君之樂也。
我們都看過金庸的《鹿鼎記》，裏麵康熙和鼇拜的關係大體上也是這樣，解決掉鼇拜以後，康熙心花怒放的心情，宣帝在霍光死後其實也有——他可能內心也會譴責一下自己不該為霍大將軍的死而高興，但內心的歡喜是肯定的。“帝興於閭閻，知民事之艱難。霍光既薨，始親政事，勵精為治，五日一聽事。自丞相以下各奉職奏事，敷奏其言，考試功能。侍中、尚書功勞當遷及有異善，厚加賞賜，至於子孫，終不改易。樞機周密，品式備具，上下相安，莫有苟且之意。”這種興奮的工作狂的狀態，就說明了內心的喜悅。
在沒有紅綠燈的交叉路口，大家開車就要靠默契和忍讓，以免磕碰。靠收斂心性來相處，大家都很累，宣帝和霍光都很累。為了放縱自己的心性，所以就有強人開上裝甲車上街，反正恣意妄為也不受約束，弱勢者隻好多長幾隻眼，多豎著耳朵，多多留心，小心不要被裝甲車白白撞壓一下。中國古代的政治就是這樣沒有文明規矩也沒有指示標誌的地方，在沒有規矩的地方，完全靠實力說話，所以就連皇帝都要時時刻刻注意，我的裝甲車是不是最硬的。