上官桀的兒子上官安，娶霍光的女兒為妻，生有一女，在她六歲時，其父想讓她入宮，希望為帝後。為這事上官安曾與霍光商量，霍光認為年紀太小，沒有同意。上官安則認為霍光心懷妒忌，有意阻撓。為了達到自己的目的，他向鄂邑公主求援。鄂邑公主有一個情夫叫丁外人，上官安素與丁外人要好，想通過丁外人的關係向鄂邑公主說合，並許事成之後，幫助丁外人求一侯爵。由於公主的支持，安女果然被選入宮，不久便立為皇後。上官安為了實踐自己的諾言，曾多次要求霍光按列侯尚公主的成例，封丁外人為列侯。但霍光認為丁外人不是公主的真正丈夫，始終沒有答應。上官桀本來在武帝時已官至太仆，地位比霍光高，這時又因孫女入宮為皇後，父子並列為將軍，對霍光的掌權看不順眼，霍光又不買他們的麵子，不答應他們封丁外人為列侯的要求，所以上官桀對霍光不滿，他們之間開始發生矛盾。
桑弘羊也因為自己論資格和功勞都在霍光之上，對霍光的掌握大權不服氣，他又想替自己的子弟謀官，也遭到了霍光的拒絕，所以也越來越敵視霍光。這樣，在三個有實力而又雄心勃勃的顧命大臣之間，就形成了對立的兩派：桑弘羊與上官桀聯合起來，反對霍光的獨攬大權。
鹽鐵會議惹矛盾
昭帝始元六年（前81），在諫大夫杜延年的建議下，召開了鹽鐵會議。杜延年是杜周的兒子，是霍光的親信。他曾向霍光建議，現在的年景不好，一些農民還流落在外鄉，應該恢複孝文帝時的政策，提倡節儉，對下寬和，爭取百姓的支持。霍光同意了他的建議，就讓各郡國推舉賢良文學之士六十多人，集中到首都開會，討論民間有什麼疾苦，國家應該采取什麼措施的問題。
賢良是已經有了功名的儒生，文學隻是地方上有點名氣的儒生，他們都不是國家的官吏。參加這次會議的六十多名賢良文學中，留下姓名的有茂陵唐生、魯國萬生、汝南朱子伯、中山劉子雍、九江祝生等。
丞相田千秋是這次會議的主持人，但他發言不多，隻是在雙方辯論激烈時講一些折中調解的話。政府方麵的主要發言人是禦史大夫桑弘羊，他共發言一百一十四次。這次會議是分兩個階段進行的，前一個階段是正式討論會，後一個階段是在正式會議結束後，賢良文學向丞相、禦史大夫辭行之際進行的另一場辯論，也可以說是非正式會議。
這次會議討論的問題涉及麵很廣，有政治問題如應重刑罰還是重德教，有軍事問題如抗擊匈奴好還是與之和親好；但更多的是漢武帝所施行的鹽鐵、均輸、酒榷、幣製、算緡告緡等一係列財政經濟政策。漢宣帝時汝南人桓寬根據當時會議的記錄，整理成《鹽鐵論》一書，所以一般都把這次會議叫做”鹽鐵會議“。
這次會議以桑弘羊為代表的政府一方，與以賢良文學為代表的民間一方，互相辯論得非常激烈，實際上是對漢武帝時期推行的各項政策進行總的評價和估計。桑弘羊代表了全麵肯定漢武帝輪台詔以前各項政策，並希望繼續推行這一政策的一方意見。而賢良文學則代表了否定漢武帝輪台詔以前的各項政策，要求加以全麵地估價和修改的一方意見。
霍光沒有出席這次會議，但他對這次會議是重視的。他顯然不同意桑弘羊的意見，這從他當政之後所實行的政策看，他是按漢武帝輪台詔的精神進行的。這就是他和桑弘羊在政見上的分歧所在。但是霍光也不完全讚同賢良文學全麵否定漢武帝政策的看法，他沒有接受賢良文學要求全部罷除鹽鐵、均輸等官營事業的建議，而隻是罷去郡國酒榷和關內鐵官；他也沒有采納賢良文學主張對匈奴實行感化政策，放棄防禦和抵抗，而仍然加強了邊防建設。但是，霍光通過這次會議，利用賢良文學的激進情緒，批評和打擊了自己的政治對手。因此這次會議從政治上來說，是有利於霍光而不利於桑弘羊的。會議結束之後，參加會議的賢良文學都被封了一個列大夫的官爵。
”燕王之變“悲劇演
鹽鐵會議的第二年，即昭帝元鳳元年（前）九月，在漢朝皇族內部發生了一次爭奪帝位的鬥爭，史稱”燕王之變“。這次事變後，桑弘羊及其家人全被霍光處死。
原來漢武帝有六個兒子，其中太子劉據因”巫蠱事件“受到誣陷而造反，失敗自殺，齊王劉閎則早死，剩下的武帝諸子中以燕王劉旦為最長。按照封建宗法製度，皇帝的繼承人應是嫡妻（皇後）的長子即嫡長子；如無嫡長子，可以由其他嫡子繼承；如無嫡子，也可以由嬪妃所生諸子中年長者來繼承。燕王最長，當立為太子。然而，武帝並不喜歡他。一次，燕王曾上書請求入宮宿衛，意思是想爭奪太子位，武帝不僅不許，反而把燕王派來的使者殺掉了；還有一次，燕王犯了藏匿逃犯的罪，被削去三縣。這兩件事讓武帝極為反感，結果，少子弗陵被立為太子。武帝死後，霍光受遺詔擁立弗陵即位，是為昭帝。燕王作為長子，未能繼承皇位，因此對霍光懷恨在心。同時，由於上官桀父子、鄂邑公主在與霍光爭權過程中，沒有達到自己的目的，也對霍光有所忌恨。於是，他們便和燕王相勾結，打算除掉霍光，廢掉漢昭帝，擁立燕王旦。
為達廢霍光之目的，他們想盡了一切辦法。上官桀先是上書，告發霍光擅自用天子禮儀，結黨營私，擴充軍事力量，圖謀不軌。說霍光外出檢閱羽林兵時，用天子禮儀，有謀反的野心；大將軍長史楊敞無功勞，拜為搜粟都尉；還私自增加幕府校尉，等等。然而這一招並未奏效，昭帝發覺其中有詐，沒有聽信，而且，每逢上官桀的黨羽說霍光的壞話就會大怒。上官桀等一看此計不成，又生一計，由昭帝長姊鄂邑公主出麵，置酒宴請霍光，想乘機將霍光殺死。不料此事走露了風聲，被公主手下的一個農官發覺，告知了楊敞，楊敞又轉告給諫大夫杜延年，杜立即告訴了霍光。這樣，這一計劃完全敗露。此後，燕王、鄂邑公主先後自殺，上官桀父子以謀反被誅。
據史書記載，由於桑弘羊和霍光有著深刻的政策分歧，政見不合，而且欲為子弟求官不成，所以，在”燕王之變“中也參與了反對霍光的活動，曾與燕王通謀。因此，他也沒能逃脫被誅的厄運。霍光對此事處理非常嚴厲，將當時已經74歲的桑弘羊押赴刑場，而且連他的全家和宗族也不放過，甚至與其多少有點瓜葛的人都未能幸免。當桑弘羊被殺的時候，他的兒子桑遷畏罪逃亡，在逃亡途中，曾經藏匿在侯史吳家，後來桑遷被捕，判處了死刑。不久，朝廷頒布了赦令，赦令中規定：與此案有牽連的官吏，過去沒有發現的，一律不予追究。於是侯史吳便自動投案自首。廷尉王平和少府徐仁共管此事，他們認為桑遷是坐父謀反，而侯史吳藏之，不是匿反者，應依赦令免吳罪。但是霍光不同意這樣處理，又令侍禦史複核，認為桑遷通經術，知父謀反，而不諫止，與反者無異。侯史吳三百石吏，而藏匿反者，不得赦。並彈劾廷尉、少府縱反者。少府徐仁是丞相田千秋的女婿。田千秋為了替徐仁開脫，召中二千石、博士於公車門重議侯史吳一案，當時朝中公卿都知道是霍光的旨意，誰也不敢出來幫助他說話。結果廷尉王平、少府徐仁棄市，連田千秋這個老好人也幾乎被牽連在內。
作為兩派鬥爭的犧牲品，漢武帝時代在治理國家的財政上做出了很大貢獻的桑弘羊，在年逾古稀之年，被霍光殺了頭，滅了族，對他來說，的確是一個悲劇。