嘉靖三年（1524年）三月，內閣首輔楊廷和被迫辭職回鄉。而後楊慎組織同列三十六人上疏，表示不願與張、桂等“無恥小人”同列共事。嘉靖大怒，罰楊慎等兩個月不得領取俸祿。豈料楊慎並未就此打住，嘉靖三年（1524年）七月，他“又偕學士豐熙等疏諫。不得命，偕廷臣伏左順門力諫”。嘉靖更加生氣，“命執首八人下詔獄”。消息傳出後，楊慎約集同年進士檢討王元正等二百四十餘名朝官，在金水橋、左順門一帶列宮大哭，聲震殿廷。楊慎甚至呼籲：
“國家養士一百五十年，仗節死義，正在今日。”這下實實把嘉靖惹惱了，下令錦衣衛抓了其中一百三十四人，第二天剩下的九十多人也被捕，並統統廷杖。升庵於七月十五被捕，十七日被廷杖一次，斃而複蘇；隔十日，再廷杖一次，幾乎死去，最後連同父親楊廷和一起被貶為庶民，楊慎謫戍雲南永昌衛（今雲南保山市），且“永遠充軍”，不得回歸原籍。
秋風乍起，北京城寒意襲人。昔日狀元郎而今身陷囹圄，紅色的囚衣，沉重的枷鎖，廷杖的傷痛令他立時蒼老許多，在解差的呼喝聲中步履蹣跚，來不及回首，來不及道別，從此與家人天各一方。
都說“夫妻本是同林鳥，大難臨頭各自飛”，然而消息傳來，黃娥的選擇卻出人意料，她強忍悲痛，帶上家仆匆匆趕到渡口踏上了護送夫君千裏跋涉的旅程。這個從小生長在富貴人家備受嗬護的名門嬌女，這個賦詩譜曲彈琴作畫的無憂少婦，似乎在一瞬間蛻變，變得異常堅韌，同甘苦共患難的決心支撐著她，她所有的擔心都離不開他：拚力直諫，富貴榮華瞬間消逝尚可忍受，北京城到雲南充軍路途漫漫，舟車勞頓、廷杖的傷痛尚可忍受，可朝中奸佞的冷箭卻一定難防，滿心的落寞你如何獨自承受。楊慎的囚車從通縣下潞河上船，黃娥便趕至天津口，改乘大船，沿運河入長江，溯江而上。
某一天，某一個渡口，當被落寞憂傷包圍的楊慎見到風塵仆仆滿麵風霜的妻子的時候，夫婦“執手相看淚眼，竟無語凝噎”。自此沿途有了妻子的陪伴，就仿佛飄零的落葉尋及了一份依靠，而在黃娥的精心護理下，楊慎的杖傷也逐漸好轉。
囚途中，這對患難夫妻風餐露宿，風雨同舟，曆盡了千辛萬苦。“荒村聚豺虎，夾岸鳴蛟鼉”，雖說這一路的不平靜黃娥早有預見，時時提防保護，可也仍想不到，伺機加害的刺客竟從京城一路尾隨，一直跟到千裏以外的山東臨清，因一直找不到機會下手，最後才悻悻離去。
嘉靖三年（1524年）十二月十五日，已是隆冬時節，天寒地凍，船行至江陵（今屬湖北省陵縣）。是時，一個漁夫和一個柴夫在江邊煮魚喝酒，談笑風生，楊狀元突發感慨，落筆寫下《臨江仙 ·滾滾長江東逝水》：
滾滾長江東逝水，浪花淘盡英雄。是非成敗轉頭空。青山依舊在，幾度夕陽紅。白發漁樵江渚上，慣看秋月春風。一壺濁酒喜相逢。古今多少事，都付笑談中。
誰能想到楊狀元充軍途中的觸景傷懷之作竟成為後來羅貫中《三國演義》膾炙人口的開篇詞。滾滾長江水終將帶走所有是非成敗，套用今天的流行語應該是“神馬都是浮雲”，紛紛擾擾的塵世，唯有淡定從容，寵辱不驚，笑看雲卷雲舒，花開花落。其實楊狀元不但是以此寬慰自己，更是想告訴妻子以一顆平常心對待榮辱悲歡，好好照顧父母家人。
古渡江陵是去滇入川的分道口，楊慎將從這裏經湖南、貴州到雲南。按照當時規定，罪犯不能帶家眷至戍所，這裏也應該是夫婦二人分道揚鑣之地。一路從秋天走到冬天，愛妻已是風塵滿麵，憔悴不堪，而此後山川險惡，道路崎嶇，瘴氣彌漫，楊慎實在不忍再拖累妻子，堅持要黃娥沿長江回四川新都老家。