但是，張學良的願望未能實現，等待他的仍然是無限期的幽禁。
從1936年底張學良親自陪送蔣介石到南京後，張學良便開始了漫長的幽禁生活。起初，出於戰事和安全的需要，張學良的囚住地點一直變換不定：
1937年初，張學良被囚禁在奉化溪口的雪竇山；1938年秋，又遷徙貴州修文縣；
1946年11月，張學良被騙解到台灣新竹井上溫泉；1949年，搬至台北近郊的陽明山。
1961年秋，當張學良被“解禁”後，在台灣北投新建了一座小別墅。在這5次幽禁地點的變換中，前3次都是蔣介石一手安排策劃的，後兩次卻是蔣介石的長子蔣經國精心選定的。如果說前3次囚住地點的選定出自蔣介石便於“嚴加管束”和“必須高度安全”的目的；那麼後兩次，蔣經國為張學良選定住址似乎更多地是出於對張學良的友情、敬慕和愛戴。蔣介石退踞台灣後，蔣經國接管“國防部總政戰部主任”之職，長期負責“管束”張學良的保安處也歸於蔣經國管轄之下。蔣經國對張學良早有所聞，又敬慕已久，他考慮良久，決定將張學良和趙四小姐從新竹井上溫泉遷出，選定了台北北郊的陽明山。
蔣經國選中陽明山讓張學良夫婦落戶，內心還有另外的打算。一旦張學良從井上遷到這裏，也就為張學良與蔣介石的相晤提供了方便，同時也向世人展示了他與張學良至誠交往的真意。
張學良表示非常滿意，認為在此生活對修身養性、研讀學問大有好處。但是在商議住所地點時，他竟出人意料地選擇了半山腰陽明公墓邊的幾間平房，他說：“我這個人，這些年寂寞慣了，在熱鬧的地方呆著，反而不舒服。明朝末年有一個人，他的名字我記不清了，他就住在墓地裏。我很喜歡他作的一副對聯：‘妻何聰明夫何貴，人何寥落鬼何多。’既然人人都要死去，誰也跑不了這一關，我在公墓居住又有何妨。”
張學良認為，住在這裏很好，因為公墓裏埋著的一些人他認識，有的還是他的朋友。以後也還會有朋友埋到這裏，他可以經常去拜訪他們。對於張學良的這個選擇，蔣經國自然不會同意，不管張學良怎樣解釋，他都不會讓自己的朋友住在公墓裏。最終，他在陽明山莊附近，選中了一幢別墅送給了張學良。
在漫長的幽禁中，張學良憂憤交加，精神上一直受到極大的壓抑和摧殘，無所寄托，就閱讀書報。據當年曾經擔任過看守張學良的“警衛”人員回憶，在囚係中張學良是愛讀書的，趙四小姐也愛在房間裏看書，每次搬遷，光是書籍，就有好幾箱子。
張學良由於長期離群索居，很少與外界接觸，生活實在單調寂寞，他盡量培養自己多方麵的愛好，如他除了讀書外，也注意鍛煉身體。他喜歡登山、散步，有時也愛打網球。後來年歲大了，跑不動了，則又喜歡起養花來，特別喜歡養君子蘭。
1947年2月28日，軍警取締香煙販發生槍擊傷亡事件，引燃對國民黨政府和接管部隊不滿的台灣本省人的怒火，釀成大暴動，殺害外省人，蔣介石則調大陸部隊展開全島血腥鎮壓，是為“二二八事件”。那場動亂，也使到幽居在山裏的張學良夫婦完全失去食物供應。在一部關於他生平的紀錄片中，張學良說，當時他被關在一個山區裏，是高山族人（原住民）的番薯救了他的命，沒有那些番薯他“就餓死了”。紀錄片旁白說，看管張學良的特務隊長劉乙光曾接到命令，隻要有暴徒來要劫走張學良，就把張學良殺掉。
張學良曾作詩自勉：“不怕死，不愛錢，丈夫從不受人憐，頂天立地男兒漢，磊落光明度餘年。”