離婚後的文繡又回到了她熟悉的北平。母親蔣氏已經去世，文繡無處可去，隻好在東十四條附近的辛寺胡同租房安身。妹妹文珊也和丈夫離了婚，來北平和姐姐一起生活。姐妹倆每天也不出門，就在房間裏讀讀書，寫寫字。雖然不再是高貴的皇妃，文繡卻還保留著一些皇妃的習慣。她請傭人伺候自己的日常起居，每天都要換衣服，洗手也甚是講究。如果傭人做得不好，她還要訓罵。這樣略顯奢侈的生活一天天過著，可文繡總覺得精神上少些寄托，於是她想讓族兄傅功清幫她謀個教書的差事。
1932年夏秋之交，在傅功清的介紹下，這個昔日尊貴的皇妃走進了北平市私立四存小學，她用回傅玉芳這個名字，成了孩子們國文和圖畫課的老師。新的生活開始了，文繡體會到了從未有過的快樂。文繡為人善良又有知識，和同事們、學生們的關係都非常融洽，她如魚得水地享受著這種自由輕鬆的平民生活。然而好景不長，沒過多久學校附近就有好事者發現，這個“傅玉芳老師”，居然就是那個和皇上離了婚的落魄皇妃。緊接著便不斷有人來一睹昔日皇妃的風采，甚至連記者也來采訪。文繡的個人生活和學校的教學秩序都被嚴重幹擾。終於，在過了一年多美好的校園生活之後，文繡不得不離開了。
學校不能去了，就連辛寺胡同的家也因不斷被騷擾而不能住了。於是文繡花了一大筆錢在劉海胡同買了一處四合院，打算過隱居的生活。她雇了幾個傭人伺候她。妹妹文珊這時已經改嫁，搬到夫家去住了。文繡的日子清閑起來，她開始跟著畫家傅儒專心學習國畫。這段日子雖說平靜，但也時常有人來找她。有來求婚的，有來說媒的，雖然大部分都是奔著她“末代皇妃”的身份和她從宮裏帶出的金銀珠寶而來，但也倒有幾個真心實意的。可年輕的文繡卻恪守著離婚時“永不再嫁”的約定，拒絕了所有人。1937年的“七七事變”後，北平淪陷了，她“單身貴婦”的生活也更加不安寧。依仗日本人的勢力，各種警察、保長甚至狗腿子之流作威作福，變著法地敲詐勒索文繡，讓她為所謂的“大東亞聖戰”效勞。在這一時期，還發生了一件讓文繡意想不到的事情。據文繡的世交馬錫五先生回憶，1942至1943年的冬春之際，日本關東軍讓溥儀娶個日本女人，溥儀怕被日本人監視，沒有答應，於是又想起了文繡，並送信過來請文繡去滿洲再做皇妃，結果文繡斷然回絕。當初文繡就是因為厭惡溥儀和日本人同流合汙，才和他離婚，而今又怎麼可能為了虛有的富貴再回去陪他一起與日本人勾結呢？
在如此混亂的環境下，坐吃山空的日子自然長久不了。沒幾年，文繡就維持不了“富貴”的生活，她辭了傭人，賣了房子。首飾也賣給了一個金店掌櫃，不料卻被人算計，本應價值連城的珠寶到頭來隻換回厚厚的一疊偽鈔。禍不單行，她身邊唯一的親人文珊又在這個時候病逝了。文繡隻得獨自一人住進一間破舊的小房子裏，重新拿起針線，靠挑花維持生計。這手藝還是她讀書時跟母親學的，當年也是為了養家。想不到她去做了九年皇妃，到頭來，又得靠這個手藝養活自己。這個活計，掙得實在是少。走投無路的她隻好投靠娘家的表哥。表哥家的日子也很艱難，文繡住進來之後，先是和表嫂一起糊紙盒，後來又去瓦工隊裏做苦力。沒多久，表哥想到在街上賣香煙的這條掙錢門路，文繡雖不願拋頭露麵，但她更不願白吃白住，所以不得不硬著頭皮去駙馬大街的街頭巷尾叫賣香煙。結果附近的地痞流氓得知“皇妃”賣香煙後，不斷地過來無理取鬧，弄得文繡不光掙不了錢，還狼狽不堪。表哥為人老實，他當初隻是考慮到可以掙錢，而沒有想到文繡的身份不適合上街叫賣。於是改由表嫂出去賣香煙，文繡留在家裏繼續糊紙盒。