就是在這樣困難的情況下，匈奴依然沒有放棄西域。從這一點上說，虛閭權渠單於還不算昏庸，隻是有點為時已晚。當初如果他下定決心救援車師，情況可能會好很多。
某天，漢軍駐車師部隊接受了一個不願意透露姓名的匈奴官員的投降。漢軍從他那裏得到消息，匈奴內部的很多大臣都發表議論：“車師國的土地非常肥沃，靠近匈奴，但是現在被漢軍占領，漢軍駐西域部隊的給養軍備得到長足補充。這樣必然會對我國造成影響，一定要爭取對車師的控製權。”
果然，沒多久，匈奴派遣軍隊破壞漢軍在車師國的田地。鄭吉等人率軍一千五百多人進行反擊，匈奴也不斷增加援軍。考慮到漢軍的人數劣勢和戰鬥人員的補充非常困難，鄭吉不得不放棄田地退回車師的防禦工事和城市中堅守。
匈奴軍在城下不斷發動心理戰術，對鄭吉的部隊高喊：“大單於一定會奪回這片土地，你們沒辦法在這裏屯田的！”匈奴把車師都城包圍起來，但是匈奴也很虛弱，沒能力組織大規模的攻城戰，補給也是捉襟見肘。在完成包圍幾天之後，匈奴撤軍。
但是，此後匈奴經常派遣數千騎兵靠近車師國，漢軍駐西域部隊苦不堪言，根本沒辦法組織有效的農業生產。甚至於，鄭吉想撤回渠犁或者渠犁的軍隊前來救援都很困難，因為匈奴隨時可能發動突襲。
元康四年（前62），鄭吉出於無奈，上書漢朝中央：“車師國距離漢軍駐西域北道大本營渠犁足足有上千裏路，中間還有河流和山地，並且靠近匈奴的領土。漢軍駐渠犁部隊不能前來增援，希望朝廷增調屯田的士兵，加強車師國的防禦。”
但是，此時的漢朝還有一個問題，那就是西羌。這段時間，一直很聽話的羌族部落對漢朝產生情緒。先是居住在青海湖一帶的先零羌部落首領發表聲明，希望能夠渡過湟水（西寧河），在漢朝沒有開展農業生產的地方種植。
但是，考慮到對匈奴的戰略問題，漢朝沒有同意，畢竟如果羌人和匈奴發生勾結，漢朝幾十年經營出的局麵將沒有意義。
光祿大夫義渠安國巡視羌族部落的時候，並沒有對先零部落的請求表態。此後，不斷有羌人擅自遷徙到湟水以北，漢朝河西一地的地方官吏根本無法控製。趙充國非常氣憤，彈劾義渠安國沒有完成巡視目的，應該算大不敬。
元康三年（前63）底，羌族對漢朝不滿達到一個高峰。先零部落的酋長聯合羌族大大小小兩百個部落的酋長召開會議，煽動不滿情緒，鼓吹地方本位主義和小民族主義。最後，與他們簽訂了複仇條約，交換人質，建立了反漢聯盟。
宣帝聽說此事，問熟悉羌族事務的老將軍趙充國。趙充國一針見血地指出：羌族現在已經不同以往，組成了有效的聯盟，實力不容小覷。而且，羌族與匈奴一直有勾結的想法，匈奴一再以將河西等地送給羌人為條件，爭取與羌人聯合。這次匈奴始終不忘西域，想必對西羌也不會放棄機會。
一個多月後，羌族的一個酋長狼何果然悄悄前往匈奴借兵，希望聯合匈奴攻下鄯善、敦煌，斷絕漢朝與西域的聯係，讓匈奴勢力和羌人勢力可以連成一片，而不是被漢朝的河西走廊隔絕開來。
趙充國再次提議：“狼何是小月氏部落的，居住在玉門關西南，他們無法獨立完成這項計劃。我懷疑匈奴使臣已經進入羌族地區，與各國部落共同簽署複仇合約。等到秋天馬匹肥壯的時候，局勢必然發生變化。現在應該派遣使臣帶著邊防部隊進入羌族聚居地，以備不測。在羌族各個部落之間來回巡視，告誡他們放棄仇恨，以揭發他們的事情。”
於是，義渠安國再次進入羌族地區。可惜這小子一點不知道什麼叫懷柔政策，他是去解除仇恨的，不是去樹立仇恨的。他到了羌族，不管三七二十一，殺了三十個部落首領，幹掉了一千多個羌族平民。於是，羌人正式與漢朝對立，發動戰爭，攻陷漢朝的城邑，斬殺漢朝的官吏。
打個不恰當的比方，和《賽德克巴萊》裏麵的出草有點像。當然，很不恰當，隻是讓大家更有畫麵感，大家不要介意。
漢朝如果同時進行在西羌和西域的戰事，必然會被極大地消耗，宣帝不願意去賭博，因為賭博正是虛閭權渠單於所希望的。這就好比你拿了一手好牌但是卻去冒險，隻會對你的對手有利益。
匈奴怎麼也想不到，宣帝在丞相魏相的建議下，走了一步妙棋。他調遣酒泉、張掖兩郡的騎兵出境一千餘裏，進入車師國北部的匈奴邊界。但是並沒有與匈奴軍隊交戰，隻是進行演習啦，圍獵啦什麼的，炫耀自己的軍事肌肉，讓匈奴軍隊不寒而栗。
匈奴逐漸撤離車師北部，打算避開漢軍主力，尋機開戰。就在這時候，鄭吉等人悄然從車師國撤回渠犁，漢軍留下三個營的兵力之後全部撤退。