傅氏和丁氏家族的成員雞犬升天。哀帝的舅舅丁明被封為陽安侯，丁明的兒子、哀帝的表兄弟丁滿被封為平周侯，哀帝的嶽父、傅太後的堂兄弟傅晏被封為孔鄉侯。
矛盾並沒有就此化解，這隻是更加激烈的衝突的前奏而已。綏和二年（公元前7年）六月，哀帝在未央宮舉行盛大的宴會。宴會上，服務人員把傅太後與王太後的席位並列。王莽發現之後，嚴厲地斥責說：“定陶太後不過是藩王的太後，先皇的妾，怎麼能與先皇的正妻王太後並列呢？”當即下令將席位調整。
傅太後聞訊後，拒絕參加宴會，搞得大家不歡而散。王莽隻好再次打退休報告，哀帝也順水推舟，加以批準，並賞賜給王莽黃金五百斤，車一輛、馬四匹。朝臣們對王莽報以極大的同情，把他看成了捍衛禮製的殉道者，故意在哀帝麵前稱頌王莽。
迫於輿論壓力，哀帝加重了對王莽的賞賜——在王莽的府中安排專使侍候，派中黃門（宮中的宦官）每十天給王莽送一次酒宴，並裝模作樣地下詔說：“新都侯王莽為國家殫精竭慮，堅持原則，朕幾乎想和他一起治理國家了。太皇太後讓他辭職回家，朕非常惋惜。將黃郵聚（河南南陽境內）的三百五十戶加封給王莽，授予特進（西漢末始置，授予有特殊地位的列侯）的榮譽職位和給事中（給事殿中，備顧問，論政事）的官職，每月的初一和十五按照接見三公的禮儀接見他，可以乘坐綠車（皇孫所乘之車）隨從皇帝的車駕。”
王莽就這樣體麵地下了台。這是他步入仕途之後的一次嚴重挫折。
王莽下台後，風波並沒有就此平息。有的人為了顯示自己對哀帝和他的祖母、母親外戚集團的忠誠，把矛頭繼續對準王莽，要把他徹底打垮。這其中就包括王莽過去的朋友，現在的敵人，也就是王莽給他送過女人的那位朱博。
朱博因為淳於長和王立一案被罷官，哀帝即位後，他被重新啟用，擔任京兆尹。在給哀帝的祖母傅氏和母親丁氏上尊號的問題上，朱博與王莽針鋒相對，贏得了哀帝和他的外戚集團的信任，被提升為丞相。
他攻擊王莽：“此前不弘揚尊敬尊長的《春秋》大義，貶低傅太後和丁太後的尊號，損傷皇帝應盡的孝道，本應該公開處決、以正視聽，雖然僥幸被赦免不死，但不應該再保留爵位和封地，請求將他廢為庶人。”想想當初王莽是怎麼幫他解決子孫問題的，真是翻臉不認人！
哀帝倒沒有被他蠱惑，把事情做絕，而是留了一些餘地。他下詔說：“因為王莽與太皇太後有親屬關係，不要廢為庶人了，把他遣送回封國吧！”這說明哀帝還是有一定的政治頭腦的，也有一定的心胸和器量。
就這樣，王莽回到了他在南陽的封國，時為建平二年（公元前5年）。王莽進入了他政治生涯的低穀期。
潛伏的日子
英國人培根說過：“順境的美德是節製，逆境的美德是堅忍。這後一種是較為偉大的德性。”在順境中，王莽表現得很好；那麼，在逆境中，他又是怎麼做的？
我們先來看看低穀中的王莽是如何管理自己和家人的。王莽回到封國後，立即閉門謝客，力求不再被卷入政治漩渦。讓哀帝和他的外戚集團把自己當成一個沒有威脅的人物，以免他們再找自己的麻煩。
但天不從人願，王莽的家裏卻發生了一件不大不小的意外。這天，王莽的次子王獲發現自己珍藏的一件古玩不見了，就召來伺候自己的奴婢詢問。這名奴婢神色非常緊張，引起了王獲的懷疑。但不管他怎麼逼問，奴婢就是一口咬定，說自己不知情。
一怒之下，王獲下令嚴刑拷打。奴婢被打得死去活來，但仍然不肯承認自己偷盜。盛怒中的王獲失去了理智，用棍棒活活地把人打死了。
殺死一個家中的奴婢，這本來不是一件什麼大不了的事兒，因為當時奴婢的地位是非常低的，可以像牲畜一樣公開買賣。主人如果要殺死自己的奴婢，隻需要跟官府通報一聲，就可以濫用死刑；即便是擅自處死奴婢，懲罰也是很輕的，不需要賠上自己的性命。因為奴婢是沒有法律地位的賤民。
但王莽是個立場堅定的儒生，儒家的人本、仁政思想根深蒂固。在他看來，奴婢同樣是人，殺了奴婢也要一命賠一命。王莽嚴厲地責備了自己的兒子，迫使他自殺。這件事再次為王莽贏得了仁者的聲譽，受到儒生和整個社會的廣泛讚賞。
我們再來看看王莽是如何接人待物的。王莽雖然閉門謝客，但並不是要切斷與外界的一切聯係，隻要有機會，他仍然設法結交各種人才，一如既往地禮賢下士。
王莽封國所在的南陽郡的太守知道王莽是個貴人，不能怠慢，就把自己的屬官孔休派到王莽的封國，做新都國相。孔休對王莽的品格和聲望非常敬重，上任之後馬上去拜見王莽。
這日，王莽正在房中讀書，仆人進來稟報：“新都相孔休求見。”王莽馬上站起來，出門迎接。孔休早聞王莽大名，見地位尊貴的王莽竟然對自己這樣一個無名之輩如此禮遇，既受寵若驚，又感慨不已。
“新都侯，宛（今河南南陽市）人孔休有禮。”
王莽爽朗地笑道：“國相不必拘謹，你我以後就是同僚了，凡事還請國相多多費心照應，莽自是感激不盡。”
王莽把孔休引入自己的書房，兩個人不談國事，隻論詩書，誌同道合，意氣相投，格外盡興。一個人在失意的時候最需要知己的安慰，而低穀中的王莽也正需要知心的朋友。
孔休見王莽雖然神采奕奕、非常健談，但麵容中仍然透露出憂鬱之色。他不便明說，委婉地對王莽道：“新都侯要保重身體啊！世事無常，風雲變幻。人生在世，難免經曆風吹雨打，但總有雨過天晴、豔陽高照的時候。君子應當順應時勢，隨機應變，這才是人生的智慧。”