是時，選博士、諫大夫通政事者補郡國守、相，以望之為平原太守。望之雅意在本朝，遠為郡守，內不自得，乃上疏曰：“陛下哀湣百姓，恐德化之不究，悉出諫官以補郡吏，所謂憂其末而忘其本者也。朝無爭臣則不知過，國無達士則不聞善。願陛下選明經術，溫故知新，通於幾微謀慮之士以為內臣，與參政事。諸侯聞之，則知國家納諫憂政，亡有闕遺。若此不怠，成、康之道其庶幾乎！外郡不治，豈足憂哉？”書聞，征入守少府。宣帝察望之經明持重，論議有餘，材任宰相，欲詳試其政事，複以為左馮翊。望之從少府出為左遷，恐有不合意，即移病。上聞之，使侍中、成都侯金安上諭意曰：“所用皆更治民以考功。君前為平原太守日淺，故複試之於三輔，非有所聞也。”望之即視事。
是歲，西羌反，漢遣後將軍征之。京兆尹張敞上書言：“國兵在外，軍以夏發，隴西以北，安定以西，吏民並給轉輸，田事頗廢，素無餘積，雖羌虜以破，來春民食必乏。窮辟之處，買亡所得，縣官穀度不足以振之。願令諸有罪，非盜受財殺人及犯法不得赦者，皆得以差入穀此八郡贖罪。務益致穀以豫備百姓之急。”事下有司，望之與少府李強議，以為：“民函陰陽之氣，有（仁）〔好〕義欲利之心，在教化之所助。堯在上，不能去民欲利之心，而能令其欲利不勝其好義也；雖桀在上，不能去民好義之心，而能令其好義不勝其欲利也。故堯、桀之分，在於義利而已，道民不可不慎也。今欲令民量粟以贖罪，如此則富者得生，貧者獨死，是貧富異刑而法不一也。人情，貧窮，父兄囚執，聞出財得以生活，為人子弟者將不顧死亡之患，敗亂之行，以赴財利，求救親戚。一人得生，十人以喪，如此，伯夷之行壞，公綽之名滅。政教一傾，雖有周、召之佐，恐不能複。古者臧於民，不足則取，有餘則予。《詩》曰‘爰及矜人，哀此鰥寡’，上惠下也。又曰‘雨我公田，遂及我私’，下急上也。今有西邊之役，民失作業，雖戶賦口斂以贍其困乏，古之通義，百姓莫以為非。以死救生，恐未可也。陛下布德施教，教化既成，堯、舜亡以加也。今議開利路以傷既成之化，臣竊痛之。”
於是天子複下其議兩府，丞相、禦史以難問張敞。敞曰：“少府左馮翊所言，常人之所守耳。昔先帝征四夷，兵行三十餘年，百姓猶不加賦，而軍用給。今羌虜一隅小夷，跳梁於山穀間，漢但令罪人出財減罪以誅之，其名賢於煩擾良民橫興賦斂也。又諸盜及殺人犯不道者，百姓所疾苦也，皆不得贖；首匿、見知縱、所不當得為之屬，議者或頗言其法可蠲除，今因此令贖，其便明甚，何化之所亂？《甫刑》之罰，小過赦，薄罪贖，有金選之品，所從來久矣，何賊之所生？敞備皂衣二十餘年，嚐聞罪人贖矣，未聞盜賊起也。竊憐涼州被寇，方秋饒時，民尚有饑乏，病死於道路，況至來春將大困乎！不早慮所以振救之策，而引常經以難，恐後為重責。常人可與守經，未可與權也。敞幸得備列卿，以輔兩府為職，不敢不盡愚。”
望之、強複對曰：“先帝聖德，賢良在位，作憲垂法，為無窮之規，永惟邊竟之不贍，故《金布令甲》曰‘邊郡數被兵，離饑寒，夭絕天年，父子相失，令天下共給其費’，固為軍旅卒暴之事也。聞天漢四年，常使死罪人入五十萬錢減死罪一等，豪強吏民請奪假貣，至為盜賊以贖罪。其後奸邪橫暴，群盜並起，至攻城邑，殺郡守，充滿山穀，吏不能禁，明詔遣繡衣使者以興兵擊之，誅者過半，然後衰止。愚以為此使死罪贖之敗也，故曰不便。”時，丞相魏相、禦史大夫丙吉亦以為羌虜且破，轉輸略足相給，遂不施敞議。望之為左馮翊三年，京師稱之，遷大鴻臚。
先是，烏孫昆彌翁歸靡因長羅侯常惠上書，願以漢外孫元貴靡為嗣，得複尚少主，結婚內附，畔去匈奴。詔下公卿議，望之以為：烏孫絕域，信其美言，萬裏結婚，非長策也。天子不聽。神爵二年，遣長羅侯惠使送公主配元貴靡。未出塞，翁歸靡死，其兄子狂王背約自立。惠從塞下上書，願留少主敦煌郡。惠至烏孫，責以負約，因立元貴靡，還迎少主。詔下公卿議，望之複以為：“不可。烏孫持兩端，亡堅約，其效可見。前少主在烏孫四十餘年，恩愛不親密，邊境未以安，此已事之驗也。今少主以元貴靡不得立而還，信無負於四夷，此中國之大福也。少主不止，繇役將興，其原起此。”天子從其議，征少主還。後烏孫雖分國兩立，以元貴靡為大昆彌，漢遂不複與結婚。
三年，代丙吉為禦史大夫。五鳳中匈奴大亂，議者多曰匈奴為害日久，可因其壞亂舉兵滅之。詔遣中朝大司馬車騎將軍韓增、諸吏富平侯張延壽、光祿勳楊惲、太仆戴長樂問望之計策，望之對曰：“《春秋》晉士匄帥師侵齊，聞齊侯卒，引師而還，君子大其不伐喪，以為恩足以服孝子，誼足以動諸侯。前單於慕化鄉善稱弟，遣使請求和親，海內欣然，夷狄莫不聞。未終奉約，不幸為賊臣所殺，今而伐之，是乘亂而幸災也，彼必奔走遠遁。不以義動兵，恐勞而無功。宜遣使者吊問，輔其微弱，救其災患，四夷聞之，鹹貴中國之仁義。如遂蒙恩得複其位，必稱臣服從，此德之盛也。”上從其議，後竟遣兵護輔呼韓邪單於定其國。
是時，大司農、中丞耿壽昌奏設常平倉，上善之，望之非壽昌。丞相丙吉年老，上重焉，望之又奏言：“百姓或乏困，盜賊未止，二千石多材下不任職。三公非其人，則三光為之不明，今首歲日月少光，咎在臣等。”上以望之意輕丞相，乃下侍中建章衛尉金安上、光祿勳楊惲、禦史中丞王忠，並詰問〔望之〕。望之免冠置對，天子由是不說。
後丞相司直緐延壽奏：“侍中謁者良使承製詔望之，望之再拜已。良與望之言，望之不起，因故下手，而謂禦史曰‘良禮不備’。故事丞相病，明日禦史大夫輒問病；朝奏事會庭中，差居丞相後，丞相謝，大夫少進，揖。今丞相數病，望之不問病；會庭中，與丞相鈞禮。時議事不合意，望之曰：‘侯年寧能父我邪！’知禦史有令不得擅使，望之多使守史自給車馬，之杜陵護視家事。少史冠法冠，為妻先引，又使賣買，私所附益凡十萬三千。案望之大臣，通經術，居九卿之右，本朝所仰，至不奉法自修，踞慢不遜攘，受所監臧二百五十以上，請逮捕係治。”上於是策望之曰：“有司奏君責使者禮，遇丞相亡禮，廉聲不聞，敖慢不遜，亡以扶政，帥先百僚。君不深思。陷於茲穢，朕不忍致君於理，使光祿勳惲策詔，左遷君為太子太傅，授印。其上故印使者，便道之官。君其秉道明孝，正直是與，帥意亡愆，靡有後言。”
望之既左遷，而黃霸代為禦史大夫。數月間，丙吉薨，霸為丞相。霸薨，於定國複代焉。望之遂見廢，不得相。為太傅，以《論語》、《禮服》授皇太子。
初，匈奴呼韓邪單於來朝，詔公卿議其儀，丞相霸、禦史大夫定國議曰：“聖王之製，施德行禮，先京師而後諸夏，先諸夏而後夷狄。《詩》雲：‘率禮不越，遂視既發；相土烈烈，海外有截。’陛下聖德充塞天地，光被四表，匈奴單於鄉風慕化，奉珍朝賀，自古未之有也。其禮儀宜如諸侯王，位次在下。”望之以為：“單於非正朔所加，故稱敵國，宜待以不臣之禮，位在諸侯王上。外夷稽首稱藩，中國讓而不臣，此則羈縻之誼，謙亨之福也。《書》曰‘戎狄荒服’，言其來服，荒忽亡常。如使匈奴後嗣卒有鳥竄鼠伏，闕如朝享，不為畔臣。信讓行乎蠻貉，福祚流於亡窮，萬世之長策也。”天子采之，下詔曰：“蓋聞五帝、三王教化所不施，不及以政。今匈奴單於稱北藩，朝正朔，朕之不逮，德不能弘覆。其以客禮待之，令單於位在諸侯王上，讚謁稱臣而不名。”
及宣帝寢疾，選大臣可屬者，引外屬侍中樂陵侯史高、太子太傅望之、少傅周堪至禁中，拜高為大司馬車騎將軍，望之為前將軍光祿勳，堪為光祿大夫，皆受遺詔輔政，領尚書事。宣帝崩，太子襲尊號，是為孝元帝。望之、堪本以師傅見尊重，上即位，數宴見，言治亂，陳王事。望之選白宗室明經達學散騎、諫大夫劉更生給事中，與侍中金敞並拾遺左右。四人同心謀議，勸道上以古製，多所欲匡正，上甚鄉納之。
初，宣帝不甚從儒術，任用法律，而中書宦官用事。中書令弘恭、石顯久典樞機，明習文法，亦與車騎將軍高為表裏，論議常獨持故事，不從望之等。恭、顯又時傾仄見詘。望之以為中書政本，宜以賢明之選，自武帝遊宴後庭，故用宦者，非國舊製，又違古不近刑人之義，白欲更置士人，由是大與高、恭、顯忤。上初即位，謙讓重改作，議久不定，出劉更生為宗正。
望之、堪數薦名儒茂才以備諫官。會稽鄭朋陰欲附望之，上疏言車騎將軍高遣客為奸利郡國，及言許、史子弟罪過。章視周堪，堪白令朋待詔金馬門。朋奏記望之曰：“將軍體周、召之德，秉公綽之質，有卞莊之威。至乎耳順之年，履折衝之位，號至將軍，誠士之高致也。窟穴黎庶莫不歡喜，鹹曰將軍其人也。今將軍規橅雲若管、晏而休，遂行日仄至周、召乃留乎？若管、晏而休，則下走將歸延陵之皋，修農圃之疇，畜雞種黍，俟見二子，沒齒而已矣。如將軍昭然度行，積思塞邪枉之險蹊，宣中庸之常政，興周、召之遺業，親日仄之兼聽，則下走其庶幾願竭區區，底厲鋒鍔，奉萬分之一。”望之見納朋，接待以意。朋數稱述望之，短車騎將軍，言許、史過失。
後朋行傾邪，望之絕不與通。朋與大司農史李宮俱待詔，堪獨白宮為黃門郎。朋，楚士，怨恨，更求入許、史，推所言許、史事曰：“皆周堪、劉更生教我，我關東人，何以知此？”於是侍中許章白見朋。朋出揚言曰：“我見，言前將軍小過五，大罪一。中書令在旁，知我言狀。”望之聞之，以問弘恭、石顯。顯、恭恐望之自訟，下於它吏，即挾朋及待詔華龍。龍者，宣帝時與張子蟜等待詔，以行汙穢不進，欲入堪等，堪等不納，故與朋相結。恭、顯令二人告望之等謀欲罷車騎將軍疏退許、史狀，候望之出休日，令朋、龍上之。事下弘恭問狀，望之對曰：“外戚在位多奢淫，欲以匡正國家，非為邪也。”恭、顯奏：“望之、堪、更生朋黨相稱舉，數譖訴大臣，毀離親戚，欲以專擅權勢，為臣不忠，誣上不道，請謁者召致廷尉。”時上初即位，不省“謁者召致廷尉”為下獄也，可其奏。後上召堪、更生，曰係獄。上大驚曰：“非但廷尉問邪？”以責恭、顯，皆叩頭謝。上曰：“令出視事。”恭、顯因使高言：“上新即位，未以德化聞於天下，而先驗師傅，既下九卿大夫獄，宜因決免。”於是製詔丞相禦史：“前將軍望之傅朕八年，亡它罪過，今事久遠，識忘難明。其赦望之罪，收前將軍光祿勳印綬，及堪、更生皆免為庶人。”而朋為黃門郎。
後數月，製詔禦史：“國之將興，尊師而重傅。故前將軍望之傅朕八年，道以經術，厥功茂焉。其賜望之爵關內侯，食邑六百戶，給事中，朝朔望，坐次將軍。”天子方倚欲以為丞相，會望之子散騎中郎伋上書訟望之前事，事下有司，複奏：“望之前所坐明白，無譖訴者，而教子上書，稱引亡辜之《詩》，失大臣體，不敬，請逮捕。”弘恭、石顯等知望之素高節，不詘辱，建白：“望之前為將軍輔政，欲排退許、史，專權擅朝。幸得不坐，複賜爵邑，與聞政事，不悔過服罪，深懷怨望，教子上書，歸非於上，自以托師傅，懷終不坐。非頗詘望之於牢獄，塞其怏怏心，則聖朝亡以施恩厚。”上曰：“蕭太傅素剛，安肯就吏？”顯等曰：“人命至重，望之所坐，語言薄罪，必亡所憂。”上乃可其奏。
顯等封以付謁者，敕令召望之手付，因令太常急發執金吾車騎馳圍其第。使者至，召望之。望之欲自殺，其夫人止之，以為非天子意。望之以問門下生朱雲。雲者好節士，勸望之自裁。於是望之仰天歎曰：“吾嚐備位將相，年逾六十矣，老入牢獄，苟求生活，不亦鄙乎！”字謂雲曰：“遊，趣和藥來，無久留我死！”竟飲鴆自殺。天子聞之驚，拊手曰：“曩固疑其不就牢獄，果然殺吾賢傅！”是時，太官方上晝食，上乃卻食，為之涕泣，哀慟左右。於是召顯等責問以議不詳。皆免冠謝，良久然後已。
望之有罪死，有司請絕其爵邑。有詔加恩，長子伋嗣為關內侯。天子追念望之，不忘每歲時遣使者祠祭望之塚，終元帝世。望之八子，至大官者育、鹹、由。
育字次君，少以父任為太子庶子。元帝即位，為郎，病免，後為禦史。大將軍王鳳以育名父子，著材能，除為功曹，遷謁者，使匈奴副校尉。後為茂陵令，會課，育第六。而漆令郭舜殿，見責問，育為之請，扶風怒曰：“君課第六，裁自脫，何暇欲為左右言？”及罷出，傳召茂陵令詣後曹，當以職事對。育徑出曹，書佐隨牽育，育案佩刀曰：“蕭育杜陵男子，何詣曹也！”遂趨出，欲去官。明旦，詔召入，拜為司隸校尉。育過扶風府門，官屬掾史數百人拜謁車下。後坐失大將軍指免官。複為中郎將使匈奴。曆冀州、青州兩（郡）〔部〕刺史，長水校尉，泰山太守，入守大鴻臚。以鄠名賊梁子政阻山為害，久不伏辜，育為右扶風數月，盡誅子政等。坐與定陵侯淳於長厚善免官。
哀帝時，南郡江中多盜賊，拜育為南郡太守。上以育耆舊名臣，乃以三公使車載育入殿中受策，曰：“南郡盜賊群輩為害，朕甚憂之。以太守威信素著，故委南郡太守，之官，其於為民除害，安元元而已，亡拘於小文。”加賜黃金二十斤。育至南郡，盜賊靜。病去官，起家複為光祿大夫執金吾，以壽終於官。
育為人嚴猛尚威，居官數免，稀遷。少與陳鹹、朱博為友，著聞當世。往者有王陽、貢公，故長安語曰“蕭、朱結綬，王、貢彈冠”，言其相薦達也。始育與陳鹹俱以公卿子顯名，鹹最先進，年十八，為左曹，二十餘，禦史中丞。時，朱博尚為杜陵亭長，為鹹、育所攀援，入王氏。後遂並曆刺史、郡守相，及為九卿，而博先至將軍上卿，曆位多於鹹、育，遂至丞相。育與博後有隙，不能終，故世以交為難。
鹹字仲〔君〕，為丞相史，舉茂材，好畤令，遷淮陽、泗水內史，張掖、弘農、河東太守。所居有跡，數增秩賜金。後免官，複為越騎校尉、護軍都尉、中郎將，使匈奴，至大司農，終官。