北洋時代的吳大帥偃旗於四川白帝城數年後，報紙上忽然又有了他的動靜。原來，老吳靜極思動，便藉調解西北地區漢回民族糾紛之機，起身去了甘肅。
時值“九一八”事變爆發，西北五省的新軍閥馬步芳等人見天上掉下個吳老帥，連忙聯名通電中央，要擁戴他出山領導抗日。通電雲：
竊以吳上將軍子玉，為國元老，韜晦蜀中，於茲數載，雖身寄乎山林，心常係於國家。值此外患危急之秋，翩然蒞隴。謝安雖老，共仰東山。矧其前戍遼東，適逢日俄戰役，滿洲形勢，日本軍情，觀察靡遺，了如指掌。應請中央及全國袍澤一致敦請出山，主持對外軍事，為政府外交之後盾，做人民救國之先鋒。
你看，連吳氏早年曾在日俄戰爭中做過諜報工作的經曆也成了人們擁其出山的資本。隻是，馬家軍將領們的別有用心令老蔣脊梁杆子直冒冷汗——“請中央及全國袍澤一致敦請出山”的目的，竟是要吳佩孚“主持對外軍事”！
蔣介石頗感警覺，深恐吳佩孚真的東山再起，便一麵電請“玉帥”入京（南京）共謀國是，一麵急令楊虎城部進兵蘭州，逼迫老吳趕緊走人。
吳佩孚最後的機會失去了。他再也無號令千軍萬馬的可能了。民國二十一年（1932年）初，他不得不離開甘肅，輾轉回到舊日京城。
執政了的蔣介石先生顯然是一位很看重軍人骨氣的人，他不僅沒有羞辱曾被國民政府通緝的敗軍統帥吳佩孚，反倒允許“孚威上將軍”保留著昔日的尊嚴——前麵說過，他請孔祥熙持自己的親筆信和十萬大洋北上看望過吳氏，並借北上視察之機設宴款待過“玉帥”。勝軍總司令與敗軍之帥相見，當朝與在野的地位不同，當然禮節重於內容。楊森後來稱，蔣、吳會麵後，“自此遂成莫逆”，顯為溢美之辭。兩個都夠倔強的漢子的第一次也是僅有的一次見麵，想必成不了莫逆之交的好朋友。但蔣氏對前輩軍人領袖的敬重卻實在令我意外——原來他和吳氏一樣，最看不起的就是那些沒骨頭的軍人，不信你數數看，投過來叛過去的，有幾個將領能得到蔣介石的真正尊重？
吳佩孚晚年，一直待在什錦花園裏，雖還不到六十歲，但已沒了叱吒風雲的能力，他隻有捋著花白的胡須歎息的份兒了。
憋在“花園”裏的吳佩孚，每天上午，讓秘書讀一遍國內外新聞，然後，讀《周易》，推演天象。鮮有客人來訪。張學良不願來了，他的蓬萊同鄉，在奉軍當軍長的於學忠也不肯上門了。北洋故人，誰也受不了吳大帥的當麵責備。
隻有家人相伴了。
吳佩孚一輩子想做“完人”，而中國完人的標誌之一，就是對發妻要從一而終。因上蒼不憫，吳氏的結發夫人宋氏沒等過門兒即命喪黃泉，三十歲上，他才趁在日軍駐芝罘島（煙台）情報小組工作期間回鄉與李氏成婚。李氏算是他真正的元配。
青春期時的吳子玉，曾幻想把“戒淫”當成一生的頭等大事來做，他寫過：
率性而節欲，可庶幾於聖賢；縱欲而滅性，則近於禽獸。
他說得夠狠的！你想當聖賢，就要節製欲望，否則，就是禽獸！不是東風壓倒西風，就是西風壓倒東風，在“性”的問題上，沒有調和的餘地。他比別人更想做個道德完善的真君子，所以，就恪守傳統，就謝絕縱欲。
一個人年輕時“戒淫”並不難，難的是一輩子“戒淫”而不縱欲。老吳算是難能可貴的一位。第三師駐軍長春時，因李氏沒為他生下個孩子，再加上婆媳不和，在母親的堅持下，他納妾張佩蘭。李氏乃不肯與側室共居一處的正室，遂堅決要求回家。如此一來，吳子玉也破了金身，成了有妻亦有妾的俗夫子。
不過，老吳極重傳統，尊卑分明，雖與張氏同居至死，但對元配李氏一直以禮相待。李氏病故後，他曾對自己聘用多年的日本顧問（早年在芝罘島軍情小組的戰友）岡野增次郎說過：將來武力統一中國以後，欲往峨眉山皈依佛門，為戰死的眾多將士和李氏的亡靈超度。岡野問：張氏如何處置？吳卻道：張乃第二夫人，不值一提。這是岡野氏在其《吳佩孚》（1937年，日文版）書中所記，足可見傳主之倫理道德是何其傳統。
然而，張佩蘭仍然未能有孕，多年後，便主動獻上了自己的婢女為夫做二妾，希望該小女子為吳家留下子嗣。可是這位小夫人登堂入室後，依然腹部平平。
三位夫人，均未生育，現在可知問題出在老吳自身。婚後不育乃人生之大疾，自古以來就被認定是女子的責任，直到20世紀中，人們才知道，其實男人的原因甚於對方。
吳佩孚是個既有魅力而又極有責任感的偉丈夫。據當時的報紙傳，有一位叫露娜的德國小姐，慕名前往洛陽的“直魯豫巡閱副使署”求見吳大帥。見到傾慕已久的偶像後，該洋妞神魂顛倒，當場表白要嫁給玉帥！四十幾歲的吳佩孚不為所動，硬把金發碧眼的求婚者打發走了，一抹臉，也把洋妞傾在麵龐上的脈脈秋波拂得個一幹二淨！可憐的露娜怏怏寫信給吳，訴說了一通愛慕抑或幽怨。吳氏閱罷，如同批閱軍中電文一樣，極簡捷地批了四個字：“老妻尚在”，便讓副官把信付郵，了卻了這段海外情緣。