趙四小姐是不可能回去了。張氏帥府歡迎趙四小姐嗎？不歡迎。原配於鳳至明確提出，若是娶趙四小姐，也可以，但有兩個條件：一，趙四小姐不能進帥府；二，趙四小姐不能有正式的名分。於鳳至和張學良說：“趙四小姐對外沒有名分。對外國人稱是你的秘書，對中國人稱為侍從小姐。”
於鳳至原本以為，如此苛刻的條件，年齡小張學良十幾歲又受過新式教育的趙四小姐，定然不肯接受，興許一怒之下離張學良而去。出乎意料的是，趙四小姐毫無怨言地接受了。不能住進帥府，她就去張學良的北陵別墅住。
更使於鳳至沒料到的是，趙四小姐來了之後，張學良白天在帥府辦公，晚上卻去別墅歇息。可以說，是她為張、趙二人創造了一個清靜的獨居空間，她為此很是發愁。
沒過多久，趙四小姐懷孕了，1929年冬天，產下一子，張閭琳。於鳳至去北陵別墅看望趙四母子，並邀請趙四回帥府居住，趙四果然“感動得嘴唇哆嗦，眼淚就像斷了線的珠子一樣滾落下來”，她叫了一聲“大姐”，就抱住於鳳至失聲哭了起來。
於鳳至安排趙四住進了帥府東牆外的一幢二層小樓。這小樓原是奉天財政廳廳長王永江的，於鳳至出資買了下來，一番裝修，又開了個小門通往帥府，這就是後來人們所說的“趙四小姐樓”。很多人不明白，趙四小姐為什麼舍棄寬敞明亮的別墅，入住位於東北角、終年陰冷潮濕的小樓？原因其實很簡單，隻因為在那兒，她能隔窗看到位於帥府大青樓二樓張學良辦公室裏的燈光。
趙四小姐深愛張學良，但她不和原配於鳳至爭風吃醋，凡事甘於低下。這與世無爭的姿態，使得於鳳至漸漸喜歡上了她。妻妾相處和睦，張學良自然歡喜不已，三人一起出出進進，愉快地生活在一起。人們都說，張學良有兩位賢內助。
這是我的姑娘
1936年，張學良和楊虎城發動“西安事變”。蔣介石雖答應了停止內戰一致抗日，但也自此將張學良軟禁起來。在美國舊金山陪伴子女求學的於鳳至，聽聞消息，急忙歸國，上下周旋，期望能夠救出張學良，卻是不能如願，隻被允許“去奉化陪獄”。
為防不測，張學良要部下送趙四小姐和兒子張閭琳去了香港。
1940年春天，陪伴張學良過了四年顛沛流離的羈押生活，於鳳至被確診患了乳腺癌，必須盡快去美國就醫。張學良向蔣介石提出，要趙四小姐來陪伴，得到準許。
所有人都認為趙四小姐不會回來，因為當時她在香港生活安定，幼子張閭琳又需要她的照料，即使她不回來，也完全是可以的。但，她將年幼的張閭琳托付給了一個美國朋友照料，匆忙趕回，陪同張學良一起過幽禁的生活。從此，她再也沒有離開張學良。
或許趙四小姐不是一個好母親，但她卻是一個好情人，為了愛人，她毅然舍棄愛子、自由和舒適優越的生活。為了他，她從來都是不顧一切，就像1928年她不顧一切投奔愛情，去他身邊。
1946年11月，張學良和趙四小姐被押往台灣，幽禁於新竹縣井上溫泉。那是座人煙稀少的大山，他們在那兒一待就是十餘年。
井上生活條件惡劣，但在趙四小姐的心裏，這段與世隔絕的時光，是最幸福最安全的時光，因為這一段艱苦的幽禁歲月是她和張學良兩個人的。張學良把一切希望和歡樂都寄托在趙四小姐的身上，趙四小姐則盡自己全部的力量給張學良以安慰和照料。見過的人都說，趙四小姐經常身著藍衣腳蹬布鞋，洗盡鉛華，終日陪伴在張學良身邊。曾經養尊處優的她，現今不過是一個最普通不過的家庭主婦，不但能夠熟練地使用縫紉機縫製衣被，還喂養家雞，將雞蛋作為難得的“營養品”給張學良滋補身體。但，骨子裏她依舊是大家閨秀，服飾妝容一絲不苟，在粗糙的生活中頑強地保持著自己骨子裏的優雅與美麗。