話說劉秀同意讓陰麗華離開，但讓誰護送陰麗華去，這讓他想了很久。最後，劉秀還是選擇了鄧禹。趁著夜色，劉秀親自將陰麗華、劉義王與劉陽送出城門。在蒼茫的夜色裏，劉秀目送他們漸行漸遠，即便消失了良久還站在那裏一動不動。最後，還是萬福提醒劉秀給回去了，劉秀才動身回去。這一夜，孤枕難眠。
翌日早朝，劉秀便在等大臣們再度勸諫，然遲遲未等到，他自是納悶不已，便問：“眾位愛卿今日怎麼不讓朕遣陰貴人到皇家別寺為五王子祈福？”
卻非殿上一片寂靜。
劉秀為此更是疑惑，他隨手點了一名大臣，說：“你，給朕說說，今日卻是為何默而不言？”
被點到名的大臣本就為此事汗顏，此時不幸被劉秀點問，更是無地自容。“微臣……”這話讓他當真難以啟齒，良久他就隻憋出這一個字。
劉秀見此自是生出些不悅來。
就在此時，來歙出列回稟道：“回稟陛下，今謠言已變，言王後因嫉恨陰貴人素來深得帝寵，欲除之而後快，故而刻意不按太醫所囑而令五王子病情反複，繼以重金令玄奕道長胡言而欺騙陛下，後為隱其醜，遂將玄奕道長殺害。”來歙說的這個謠言是經過以訛傳訛而來的，與散步此謠言之人的原話有些不同，但巧妙的是，很接近事實。
劉秀沒有想到一夜之間謠言竟然來個翻天覆地的變化，聽了來歙的話，想想大臣如今的沉默，再想想陰麗華所受的委屈，他沉聲而道：“朕用爾等乃是為朝廷效力，為天下黎民造福，然爾等所為實在令朕寒心。爾等偏信謠言，慷慨陳詞，冠冕堂皇逼迫於朕，為難朕之愛妃，此與婦人之行徑有何之分！昨日陰貴人為人誣陷，爾等欲加之詞，咄咄相逼之態，尚在朕之耳目，而今日王後為人汙蔑，其罪過比陰貴人有過之而無不及，然爾等卻默而不語，如此畏強淩弱，與小人有何之分！”
“臣惶恐。”眾臣除了少有的幾人皆倉皇頓首，齊聲而道。
劉秀對此嗤之以鼻，他麵不改色地繼續說：“昨夜，朕已按爾等之意，將陰貴人連同長公主、四王子連夜送往別寺為五王子祈福。按理來說，今日爾等該勸朕廢黜王後才是。然朕此番已有前車之鑒，為免爾等再咄咄逼人，朕這便告知爾等，朕今日即將王後廢黜。”
大臣們低著頭你看看我，我看看你，盡是驚恐無措。若是勸劉秀收回成命吧，那他們便成了畏強淩弱的小人；若不勸諫吧，廢後茲事體大，怎能袖手旁觀。
就在眾臣們遲疑不言之時，陰興說話了，他對劉秀說：“望陛下三思。”
陰興這麼一說，眾臣馬上附和齊聲說：“望陛下三思。”
劉秀為此瞪了一眼陰興，但想到陰家人素來的品性，劉秀卻又無可奈何，他隻能拂袖而去。
“退朝。”萬福高唱一聲後，快步追隨劉秀而去。
到底謠言是真是假，除了當事人，隻怕誰也不知道，如今陰麗華離開了，旁人也隻能看五王子劉康的病是否好轉。
離開洛陽的陰麗華自是不知如今事態如何，這時的她化作平民模樣正向新野而去。雖然是被迫離開的，但是此時此刻，陰麗華卻是說不出的開心，感覺客氣很新鮮，周圍的一切都是那麼美好。若是從此天空海闊自由自在，陰麗華十分情願，奈何身份所累。雖然陰麗華盼望早日見到陰鄧氏，但因為有劉義王與劉陽在，行程本就不得不有些滯緩，更不幸的是，沒過幾日，陰麗華發現自己有孕了，為了照顧她的身子，便走得更慢了。陰麗華為了不讓劉秀擔心或者改變主意，她讓鄧禹對她有孕之事隱而不告。
這邊的劉秀本欲馬上將陰麗華接回來，但想到陰麗華想見陰鄧氏，他遂放棄了馬上接回陰麗華的念頭。若是讓他得知陰麗華有孕，他說什麼也要將陰麗華接回來。
假若愛有天意，那麼一切皆是避無可避的。