霍光是已故的驃騎將軍霍去病的異母弟，由於霍去病的關係，霍光十幾歲即入宮為郎，曆任諸曹、侍中、奉車都尉、光祿大夫。據說他平時出入殿門，舉止進退，都有一定的地方，諸郎官曾暗地做上標記來觀察他，竟然不失分寸，其謹慎穩重由此可見。漢武帝在發布輪台詔之後，覺得自己年事已高，要物色一個能執行自己政策的大臣，他覺得霍光適合，就讓黃門畫者畫了一幅周公負成王朝諸侯的圖，賜給霍光，以此表示對霍光輔政的信賴和希望。
武帝病重時，要霍光行周公之事來輔佐昭帝，霍光推薦金日殫。金日殫是匈奴休屠王的太子，霍去病與匈奴作戰時，休屠王被殺，金日殫和他的母親及弟弟被俘，送到首都給皇帝養馬，得到漢武帝的賞識，被提升為駙馬都尉。當霍光推薦他當行周公之事時，就以自己是匈奴人為辭，表示願作霍光的助手，所以霍光成為顧命大臣中主要決策人。田千秋雖為丞相，但年紀比較大，並無多大能力，隻因一封上書受到漢武帝的讚許，很快就由一個供奉漢高祖寢廟的高寢郎上升為丞相，他當丞相為人處事都很謹慎，對霍光處處迎合奉承。上官桀本來是一個給皇家養馬的未央廄令，有一次漢武帝生病後去看馬，見馬都瘦了，很生氣。他卻以聽說皇帝病了，無心養馬為名，表示了對皇帝的忠心。漢武帝不但沒有加罪他，反而提升為侍中、太仆，武帝死時升為左將軍。
武帝留給昭帝的這五位顧命大臣中，田千秋年老不多管事，金日禪第二年就去世了，實際上隻是霍光、桑弘羊、上官桀三個人。霍光是以大司馬、大將軍領尚書事而為顧命大臣的，漢武帝病危時又明確地讓他行周公輔成王的事，所以昭帝即位之後，一切大權都掌握在霍光手中。
上官桀的兒子上官安，娶霍光的女兒為妻，生有一女，在她六歲時，其父想讓她入宮，希望為帝後。為這事上官安曾與霍光商量，霍光認為年紀太小，沒有同意。上官安則認為霍光心懷妒忌，有意阻撓。為了達到自己的目的，他向鄂邑公主求援。鄂邑公主有一個情夫叫丁外人，上官安素與丁外人要好，想通過丁外人的關係向鄂邑公主說合，並許事成之後，幫助丁外人求一侯爵。由於公主的支持，安女果然被選入宮，不久便立為皇後。上官安為了實踐自己的諾言，曾多次要求霍光按列侯尚公主的成例，封丁外人為列侯。但霍光認為丁外人不是公主的真正丈夫，始終沒有答應。上官桀本來在武帝時已官至太仆，地位比霍光高，這時又因孫女入宮為皇後，父子並列為將軍，對霍光的掌權看不順眼，霍光又不買他們的麵子，不答應他們封丁外人為列侯的要求，所以上官桀對霍光不滿，他們之間開始發生矛盾。
桑弘羊也因為自己論資格和功勞都在霍光之上，對霍光的掌握大權不服氣，他又想替自己的子弟謀官，也遭到了霍光的拒絕，所以也越來越敵視霍光。這樣，在三個有實力而又雄心勃勃的顧命大臣之間，就形成了對立的兩派：桑弘羊與上官桀聯合起來，反對霍光的獨攬大權。
鹽鐵會議惹矛盾
昭帝始元六年（前81），在諫大夫杜延年的建議下，召開了鹽鐵會議。杜延年是杜周的兒子，是霍光的親信。他曾向霍光建議，現在的年景不好，一些農民還流落在外鄉，應該恢複孝文帝時的政策，提倡節儉，對下寬和，爭取百姓的支持。霍光同意了他的建議，就讓各郡國推舉賢良文學之士六十多人，集中到首都開會，討論民間有什麼疾苦，國家應該采取什麼措施的問題。
賢良是已經有了功名的儒生，文學隻是地方上有點名氣的儒生，他們都不是國家的官吏。參加這次會議的六十多名賢良文學中，留下姓名的有茂陵唐生、魯國萬生、汝南朱子伯、中山劉子雍、九江祝生等。
丞相田千秋是這次會議的主持人，但他發言不多，隻是在雙方辯論激烈時講一些折中調解的話。政府方麵的主要發言人是禦史大夫桑弘羊，他共發言一百一十四次。這次會議是分兩個階段進行的，前一個階段是正式討論會，後一個階段是在正式會議結束後，賢良文學向丞相、禦史大夫辭行之際進行的另一場辯論，也可以說是非正式會議。
這次會議討論的問題涉及麵很廣，有政治問題如應重刑罰還是重德教，有軍事問題如抗擊匈奴好還是與之和親好；但更多的是漢武帝所施行的鹽鐵、均輸、酒榷、幣製、算緡告緡等一係列財政經濟政策。漢宣帝時汝南人桓寬根據當時會議的記錄，整理成《鹽鐵論》一書，所以一般都把這次會議叫做“鹽鐵會議”。