這是一個讓所有軍統特務和革命人士都談之色變的地方，人們隻要關在這裏兩三年，往往被折磨得連走半裏路都不能堅持。楊虎城在這裏，幾乎每夜都能聽到執行槍決的子彈聲，以及人們的哀號和孩子的啼哭聲。他每日都恐懼自己會被殺害，恐懼死後自己的兒子沒有人照顧。在這樣擔驚受怕的情緒下，他過了整整一年。
1939年夏天，戴笠到了息烽親自視察。他發現離息烽縣城10多裏的高山頂上有一個玄天洞，是一個天然的大石洞，有10丈多高。裏麵有一所道士廟，隻有一個大洞口可供出入，警戒極為方便。他便叫人在附近修建供特務隊和憲兵等居住的房屋以後，將楊移送過去。
蔣介石還是不放心，再三叮囑戴笠不可大意。為此，戴笠於1940年又親往息烽布置，除了在楊住宅四周派有便衣特務嚴密看守外，外層憲兵也分兩層布崗。憲兵連連部設在後山高地，可以控製後山和楊的住宅。軍統特務隊則設在前麵上山的路口。崗哨距離近，白天彼此看得很清楚，晚上更縮小範圍，並采用傳更辦法:就是用大竹子劃兩道口，像過去城市打更用的竹梆一樣，以木棒敲打就發出很大的聲音。每到夜間，隔一定時間，由第一個崗哨先敲幾下。梆聲剛落，第二個便得接著敲打。像這樣輪流著一個個敲下去。隻要一處不響，帶班的馬上去檢查。從天黑到第二天黎明，梆梆之聲響徹高山深穀。
雖然有了這些嚴密布置，但戴笠還怕不妥，便連息烽縣長的職位也抓了過來，先後介紹軍統特務鄧匡元、徐羽儀、陳國楨去當縣長。這樣一來，所有地方組織一起掌握在軍統特務手中，共同配合看守楊虎城。
除了看守十分嚴密之外，楊虎城的生活也是非常艱苦。山洞內終年不見陽光，潮濕異常。楊虎城全家在西北地勢幹燥的地方過慣了，住在這個地方很不適宜，加上心情不快，便常常生病。楊虎城自掏腰包在洞外修建了房屋居住，可是特務隊長乘機揩油，偷工減料，房子質量十分簡陋，楊虎城也是無可奈何。
約在1941年間，楊夫人又生了一個女孩。這給他精神上帶來不少安慰，但這是暫時的安慰，很快就變成了憂傷。因為軍統認為他夫人謝葆真是共產黨員，常常有意刺激她。再加上生活上缺衣少食，她漸漸有些精神失常。