《於鳳至回憶錄》中有這樣一段話：
在漢卿掌握半壁江山的權勢和大帥遺留的巨大財富之下，很多女人為謀取私利，不顧道德和法律，用一切手段纏住漢卿。漢卿對女人又十分隨便，前後有很多人和他發生關係。對此，我從不過問，我相信他決不負我。隻有對王正廷的妹妹，他找我，要求我接納她做二房，說她人品好，留學歸國，學識很高，並因王正廷的關係，和政府要人都有淵源，一再要求。為此事，我再三思考後拒絕了。我說，為了我們兩人這個家，為了孩子們，我不能同意。最後，漢卿依從了我的意見。我心裏感到很安慰。漢卿沒有背棄他的諾言。
“漢卿對女人十分隨便”。鳳至這麼說，絕非空穴來風，下麵就有一個典型實例。
據竇應泰《戰亂中生死相依的天津姑娘》一文記載，1920年，少帥前往吉林剿匪期間，在一次堂會上，同年僅十七歲的菊壇女伶穀瑞玉相識，共同的藝術愛好使他們相互產生好感。爾後，在深山密林中，少帥中慣匪冷槍，身負重傷，多虧穀瑞玉日夜護理，才漸趨康複。這樣，愛慕加上感激，少帥很快地便和她走在一起，並帶回到奉天城。由於畏懼父親的威嚴，也不敢直接麵對鳳至“大姐”，隻好讓她寄居在朋友家裏。姑娘倒很開通，說：“跟上你，是緣於愛慕，甘願放棄演藝生涯，也不計較有無如夫人的名分。”第一次直奉戰爭打響後，她便毅然登上軍車，前往烽火彌漫的戰場尋找張學良。其時奉軍遭到重創，少帥痛苦之極，竟要開槍自殺；穀瑞玉緊緊把他抱住，加以製止，並激勵他振作精神，重整旗鼓。回到奉天後，她仍然單獨住在外麵，由於耐不住寂寞，被少帥政敵楊宇霆的三姨太籠絡過去，結果卷進了政治的旋渦。麵對這種局勢，鳳至“大姐”從顧全大局出發，主動地紆尊降貴，到經三路賓館去迎請穀瑞玉，要把她接進帥府，以免受人利用，危害少帥的前程。但穀瑞玉執意排拒，後來，他們終於離異了。難能可貴的是，鳳至“大姐”這種忍辱負重、顧全大局的識見與氣度，令人十分欽佩。
孰料，事情竟然接二連三地出現。最使鳳至“大姐”沮喪、難堪的，是年輕漂亮、美慧天成的天津少女趙四小姐的突然闖入。這次，她確實感受到一種完全失控、直至無法承受的意外打擊。為著維護一己之尊嚴和作為妻子所特有的權利，她本來也可以拚死抗爭，鬧個沸反盈天，江河倒瀉；以她當時在家庭中的地位與威望，可以贏得家庭內外普遍的支持，就是說，抗拒成功的可能性是極大的。但是，她沒有這樣做，因為念及趙四小姐已經無家可歸，沒有了退路——父親登報聲明與她斷絕了父女關係，這就意味著切斷了歸路；而且，這時的趙四小姐已經有了身孕，不久即產下了嬰兒。在這種情況下，如果硬是逼著他們斬斷情緣，縱使不致逼出人命來，起碼也顯得她有些殘忍、太不近人情了。加上，趙四小姐一進入帥府，就跪在地下向大姐叩頭，信誓旦旦地說，永遠不忘大姐的大恩大德，許諾一輩子隻做少帥的秘書，決不要任何名分。揆情度理，悲天憫人，鳳至終於以大度包容的態度，把趙四小姐接納進來，並用她自己的錢，給趙四小姐買了一處房子；特意吩咐財務人員，從優給她開付工資，表現出一位賢惠女性的博大胸懷。
人們常說，愛情與婚姻常常是兩股道上跑的車，並非完全是一碼事。少帥同妻子於鳳至也正是如此。雖說相敬如賓，彼此十分尊重，感情也不為不深；但敬重、感激是一回事，而愛情又是另一回事。可以說，終其一生，少帥同“大姐”也並沒有建立起真正的愛情。在同海外曆史學家唐德剛教授交談時，他曾直言不諱地說過：
我跟我太太啊，我不喜歡我的太太，我們是媒妁之言，父母之命。我跟我太太說，你嫁錯了人，你是賢妻良母呀，可是，張學良不要一個賢妻良母。我是上戰場的人，那打起仗來，真不知道誰能回來誰回不來。我跟你說，她對我實在是很好啊。
這就是說，到頭來，麵對發妻的付出，張學良作為丈夫，隻不過是感激，更多的是敬重，而並非真正的愛情。那麼，對於鳳至“大姐”來說，當然就隻能做一個賢惠的妻子，而絕非親昵的愛人。
艱難歲月
西安事變爆發之際，鳳至“大姐”正在英國陪伴著孩子讀書。當她驚悉丈夫被蔣介石拘禁之後，便忍痛把三個年幼的孩子托付給友人照料，不顧身軀羸弱，萬裏迢遙地隻身趕到上海，經由宋氏兄妹通融，被允準到溪口同丈夫見麵，陪侍在他的身邊。
於鳳至在回憶錄中說：
漢卿的羈押，是由軍隊、警察、憲兵層層戒守，隔離內外。特務更是吃飯同桌，不離左右，日夜在旁監視。在裏外隔絕、失去自由的情況下，漢卿所受的精神打擊很大，十分痛苦。他白天強顏應付，夜晚回房時獨自流淚，經常地吟誦著：“生命誠可貴，愛情價更高，若為自由故，二者皆可拋。”說他願以自殺來控訴蔣介石如此背信棄義，不守信諾的迫害。我就此向他指出：在軍事法庭上，你光明正大地說明西安事變的兵諫，是關乎國家存亡的革命行為，是為了改正錯誤的政策而兵諫，並不承認有罪。這從得到蔣先生的允諾，采納我們的主張可以證明。既然我們認為不僅無罪而且行為正確，今天受到非法囚禁，那就要學文天祥等仁人誌士的為人才是。我們心有正義，曆史會有裁判，怎麼能喪失信心！何況，你對東北軍幾十萬將士有責任，對西北軍官兵有責任，對兒女有責任，你要戰死在前線的心願未遂，蔣幫如此忘恩負義、背信棄義的報應未見；所以，不但不能自殺，反而要千方百計保住自己的生命，才對得起世人，對得起老帥的在天之靈。他痛定思痛，逐漸認識醒悟，說：“我是應該起來和他們鬥到底。”
……
我說，如果我在西安，我是絕不會讓你送蔣的，在飛機場我會攔住你。他說，是有人勸我不要送蔣，我不聽。你在，飛機場上又有宋美齡，你不許我上飛機，我隻有不上飛機。但是，我是從來不後悔的，今天，我無怨無悔，隻有恨。