此後楊飛仍舊是每日忙碌，每每碰到杜慈之時，都有故事，時日久了，不免有了文字不便表述的事情。
轉眼已到了十月，草枯葉落，這時楊飛已有百姓九百多戶。各部大人不是都像木延那麼好說話的，他們多多少少地克扣了一點。來部族裏的多是貧窮的百姓，牛羊不多，奴隸們的牛羊更是少得可憐，唯有馬匹勉強夠男丁每人兩匹。
為了過冬，楊飛隻好帶著部民們到處打獵，積儲物資。好在這些人雖然窮，卻都彪悍，打獵上都是好手。隻是剽悍之人必然好勝，營地裏不免常有鬥毆之事。於是立下規矩，私鬥者鞭三十，致死者抵罪。每當遇到鬥毆之事，楊飛就想：“窮山惡水出刁民，一點不假！”
實際上，楊飛的草場根本就沒有，西邊十裏外是木延的大營，東邊八九十裏外是木延的大哥木脫的大營，說起來，楊飛是在和木延共用一個草場。好在木延刻意結交楊飛，在楊飛看來，木延似乎巴結他有點過分，再加上八月裏又搶了輝琉的大營，他們兩個現在勉強都還能過。
雖說如此，木延也已經三番五次和楊飛談到，希望楊飛明年移營到別處去了，木延說：“不然的話，我也過不下去了。”於是楊飛隻好跟木延去找鐵木，哪知道隻賺了一頓酒肉，至於草場，鐵木說，草場都被他的三個兒子和其他部族分了，沒地方的，說是隻有塞外有地方。楊飛心想：“塞外？那是鮮卑人的地方，去了不是找死嗎？”鮮卑人經常搶劫匈奴人，兩族人猶如仇寇。
楊飛隻好再去找左賢王。這王爺有六七十歲的樣子，楊飛看著他像人精。他駐營定襄郡，境內多山丘，林木茂盛，本部不過兩千多戶，還不如呼延部。楊飛去時，左賢王對他倒是十分客氣，不但好酒好肉，還送了一點絹帛和粟米。見楊飛訴苦沒吃沒喝，臨了又送了三千頭羊，還說楊飛可以到他的定襄來打獵。定襄緊鄰雲中，因此聽了這話，楊飛頓時覺得這老頭又可親不少。
交談之中，楊飛感受到左賢王對他的確十分的器重，這位王爺甚至讓他最寵愛的閼氏特地送了上等的絹帛和金銀首飾給昭姬。見了那閼氏，楊飛心頭直跳，想道：“靠，這麼騷。這老王爺也是的，老牛吃嫩草！”
實際上，如果要給楊飛安排草場，勢必會得罪其他部族。左部匈奴世居各郡，各有分地，左賢王倚重楊飛，但也需要其他各部支持，所以隻要他頭腦清醒，就不會給楊飛安排草場。盡管楊飛自覺定襄之行收獲不少，但實際上最關鍵的草場問題仍舊是沒有解決。
回到大營後，楊飛把絹帛粟米分給家人親族，又囑咐昭姬送一份給杜慈。一見到老祖母，這老人家就問左賢王怎麼說，結果怎樣。楊飛把情況說了，最後說道：“這老頭還算可以，其他人一毛不拔！”
老祖母笑了笑，說道：“左賢王是很好，我們一家的榮耀，都拜他所賜，以後你要尊重他。”楊飛忙說：“老祖母教訓的是。”這話已經成口頭禪了。老祖母又問：“木延前些日子又來讓我們移營了？”楊飛說是。
老祖母歎了口氣，說道：“我這幾日才想明白了。我們匈奴如今各部離散，單於空有名號，各部大人自行其是，弱者隻好依附強部，強部之間也是明爭暗鬥。我們左部本來以左賢王為大，不過我聽說他才兩千多戶百姓奴隸，鐵木王爺和他的三個兒子卻有三千六百多戶，雖說左賢王的大閼氏是呼延家的，可這中間誰說的清楚呢？我看左賢王怕有借我大野普祿茹家族，打壓呼延部的意思，又或者是想故意坐大我們，讓我們在呼延部呆不下去。按理說，左賢王是單於子孫，我們應該幫他。可現在我們這般景況，還怎麼幫呢？其它各部，多者不過一千多戶，少者不過三五百戶，人少勢孤，夾在中間，哪有敢隨便幫我們的。”
楊飛聽老祖母分析得這般透徹，不禁佩服，於是問道：“老祖母是不是有什麼想法？”老祖母又問道：“草原人沒有草場就活不了，如果我們沒有草場，又不搬走，時間一久，不但百姓怨恨，就是鐵木王爺和木延小王爺的心思恐怕也難猜得很。不如乘木延小王爺對我們好的時候，盡速遷出雲中，這才能久安。聽說合乞跟你說上郡那地曠人稀，你有沒有想去那的想法？”
楊飛答道：“上郡自打東羌叛亂，算是荒廢了。我問過父親，他說去上郡的路很好走，渡河不過一百多裏就是直道，寬闊平坦，路上隻長了稀疏的小草。隻是我們都擔心，那裏畢竟是右部地，又靠近漢朝，還有屠各人，人生地不熟的，一時恐怕難以過去。”