李宗仁要釋放楊虎城和張學良的消息在全國都引起極大的轟動，其中切身利益最為密切的當然要屬楊虎城和張學良本人。他們兩人相比起來，張學良的境況還稍微好一些，他的吃住都有專門的供給，張夫人或趙四小姐還會定期來看望他，給他帶一些美國的營養品。但是楊虎城就沒有這麼好的待遇了。
楊虎城先是被軟禁在南昌百花洲熊式輝的別墅裏，因為蔣介石對他仇恨更深，竟然嫌他住得太舒服了，讓戴笠把他轉移到其他地方。到了1938年冬天武漢撤退時，楊虎城全家被押解到貴州息烽監獄。
這是一個讓所有軍統特務和革命人士都談之色變的地方，人們隻要關在這裏兩三年，往往被折磨得連走半裏路都不能支持。楊虎城在這裏，幾乎每夜都能聽到執行槍決的子彈聲，以及人們的哀號和孩子的啼哭聲。他每日都恐懼自己會被殺害，恐懼死後自己的兒子沒有人照顧。在這樣擔驚受怕的情緒下，他過了整整一年。
1939年夏天，戴笠到息烽視察。他發現離息烽縣城10多裏的高山頂上有一個玄天洞，是一個天然的大石洞，有10丈多高。裏麵有一所道士廟，隻有一個大洞口可供出入，警戒極為方便。他便叫人在附近修建供特務隊和憲兵等居住的房屋以後，將楊移送過去。
蔣介石還是不放心，再三叮囑戴笠不可大意。為此，戴笠於1940年又親往息烽布置，除了在楊住宅四周派有便衣特務嚴密看守外，外層憲兵也分兩層布崗。憲兵連連部設在後山高地，可以控製後山和楊的住宅。軍統特務隊則設在前麵上山的路口。崗哨距離近，白天彼此看得很清楚，晚上更縮小範圍，並采用傳更辦法：就是用大竹子劃兩道口，像過去城市打更用的竹梆一樣，以木棒敲打就發出很大的聲音。每到夜間，隔一定時間，由第一個崗哨先敲幾下。梆聲剛落，第二個便得接著敲打。像這樣輪流著一個個敲下去。隻要一處不響，帶班的馬上去檢查。從天黑到第二天黎明，梆梆之聲響徹高山深穀。
雖然有了這些嚴密布置，但戴笠還怕不妥，便連息烽縣長的職位也抓了過來，先後介紹軍統特務鄧匡元、徐羽儀、陳國楨去當縣長。這樣一來，所有地方組織一起掌握在軍統特務手中，共同配合看守楊虎城。
除了看守十分嚴密之外，楊虎城的生活也是非常艱苦。山洞內終年不見陽光，潮濕異常。楊虎城全家在西北地勢幹燥的地方過慣了，住在這個地方很不適宜，加上心情不快，便常常生病。楊虎城自掏腰包在洞外修建了房屋居住，可是特務隊長乘機揩油，偷工減料，房子質量十分簡陋，楊虎城也是無可奈何。
約在1941年間，楊夫人又生了一個女孩。這給他精神上帶來不少安慰，但這是暫時的安慰，很快就變成了憂傷。因為軍統認為他夫人謝葆真是共產黨員，常常有意刺激她。再加上生活上缺衣少食，她漸漸有些精神失常。
戴笠聽到這個消息，指示讓她和楊虎城分開，一個人搬回玄天洞廟內居住。經楊虎城再三請求，才答應她住在洞外自建的房屋，楊則搬進濕暗的玄天洞去。楊夫人被特務們這樣折磨，神經真的越來越失常，整天叫罵，特務們都不敢見她，終日把她關在房內不讓出來。楊虎城每聽到她叫喊，又不能去勸慰，隻有暗中揮淚，難過異常。到1944年她的病情有所好轉，夫妻兩人這才又重新一起居住。
戴笠死後，看管楊虎城的工作落到了毛人鳳的手上。李宗仁的釋放令在報紙上登出來之後，為了封鎖消息，看守楊虎城的龔國彥自作主張，把當天的報紙扣著不讓楊看。楊虎城當然起了疑心。他一直都很關心國際大事，天天看報，但眼看時局變化越來越微妙，報紙卻突然不送了，這讓他自然懷疑報紙上的消息和自己有關。他立刻找來龔國彥詢問：“今天的報紙呢？是不是有什麼新聞？”