中宗孝宣皇帝本始二年（公元前72年）
春，大司農田延年有罪自殺。昭帝之喪，大司農僦（jiù）民車，延年詐增僦直，盜取錢三千萬，為怨家所告。霍將軍召問延年，欲為道地。延年抵曰：“無有是事！”光曰：“即無事，當窮竟！”禦史大夫田廣明謂太仆杜延年曰：“《春秋》之義，以功覆過，當廢昌邑王時，非田子賓之言，大事不成。今縣官出三千萬自乞之，何哉？願以愚言白大將軍。”延年言之大將軍，大將軍曰：“誠然，實勇士也！當發大議時，震動朝廷。”光因舉手自撫心曰：“使我至今病悸。謝田大夫曉大司農，通往就獄，得公議之。”田大夫使人語延年。延年曰：“幸縣官寬我耳，何麵目入牢獄，使眾人指笑我，卒徒唾吾背乎？”即閉閣獨居齋舍，偏袒，持刀東西步。數日，使者召延年詣廷尉。聞鼓聲，自刎死。
當時，向皇太後聯名上書要求撤換劉賀的一共有三十六名大臣。有的是霍光的政治盟友，比如車騎將軍張安世、大司農田延年；有的則是他的門下故吏，比如領銜的丞相楊敞原是大將軍府的長吏，霍光的代理人；有的甚至是自己的女婿，比如度遼將軍範明友。還有幾位是朝廷的重臣，像後將軍趙充國等，他們也覺得劉賀不像話，這樣的大事，不能不出麵表態，但是沒有霍光發動，他們估計也不會想到換一個皇帝。在倒劉賀的人群中，還有在匈奴出使十九年的蘇武，這是他回來以後見諸史書的唯一一次政治活動。不管是自願，還是被裹脅，霍光以自己的威望和權勢動員了朝廷足夠的力量。
在策劃廢立的核心成員中，有張安世、田延年，作為丞相的楊敞也必須參與，盡管他膽子小。田延年和楊敞都是大將軍府出來的，絕對的霍係人物。政治本來就是團體項目，沒有派係就不叫政治。從帝國的體製看，丞相仍然是三公之首，這個體製是從秦帝國一直延續過來的，在漢初，丞相權重，劉邦及呂後時代的丞相都是重量級人物，開國勳臣。文帝、景帝時期，丞相開府行使行政權的體製依然存在，擔任丞相的也都是打過仗的老幹部，有時還敢和皇帝叫叫板。到了武帝時代，對丞相製度衝擊甚大，到後期，丞相甚至成了一個危險的職業，沒有多少權力，卻往往要做皇帝行政失誤的替死鬼。中國古代的國家政治體製，有公開的更張，比如秦始皇，比如朱元璋，都明確下詔變更體製。而在漢武帝時代，體製是隨著皇帝的工作習慣在不知不覺中更改，從漢武帝起， 有了內朝外朝的區別，皇帝通過內朝直接掌握並行使軍權和行政權，大將軍協助皇帝掌控軍政大權，這個職位一般由外戚擔任；尚書令是內朝常設辦事機構，相當於今天的辦公廳，尚書令當然也是實權人物。外朝的丞相製度仍然存在，但丞相的權力卻嚴重地被削弱了。到了武帝臨終前，把權力托管給大將軍兼尚書令霍光，從此，漢代掌權的外戚一般都身兼此兩職。
霍光攝政期間，當然不會去恢複丞相的權力，大將軍掌握著國家的軍政大權，丞相就不可能是強勢的丞相，楊敞是霍光夾袋裏的人，霍光讓一個膽小窩囊的人擔任丞相，一方麵說明他繼續了漢武帝對現有君相分權體製的破壞，一方麵也說明他識人，挑楊敞這樣窩囊的人坐在丞相府，不給自己添亂。