四月初，就在張全準備出兵的時候，長安傳來消息，大將軍衛青病故。衛青病了多年，病情時好時壞，所以這個消息也不算太突然。不過這麼多年了，衛青一直是漢軍中的精神支柱，軍中許多將軍都是跟著他一刀一槍殺出來的。得到這個消息，張全又歇兵十日，率領全軍在漁陽祭奠大將軍。
十日之後，張全從漁陽正式起兵，進攻東胡南部地區。三日後，趙破虜也從狼居胥山的受降城起兵，進攻東胡西部和北部地區。
趙破虜之所以遲了幾天，是因為進行了長時間的戰前動員。在張全的建軍思想中，不應該出現單一民族自成一軍的情況，而是采取各民族混編，而且漢人的比例應該占八成以上，騎兵部隊中，漢人的比例也應該不低於五成。不過這次，趙破虜帶出的這五萬邊軍鐵，匈奴及其他胡人比例高達七成，為此，劉據特別下旨，給這些臨時征募的胡人以普通漢軍同樣的待遇，不僅有軍餉，而且受傷了有朝庭養，死了家裏也有錢拿，這在以前是從來沒有過的。
這道聖旨無疑提升了部隊的士氣，這也給了生活在邊疆的胡人一條新的出路，那就是參加漢軍，為大漢出力。
雖然漢軍在四月就出兵了，可一直到了五月，雙方還沒有進行大規模的交戰。因為北部的拓拔信一直避免與趙破虜交戰，在等待南線的結果，他希望達奚望能迅速打敗漢軍，然後北上支援他；而達奚望也在避戰，他不願現在就和士氣正旺的漢軍交戰，所以一退再退，已經撤到了東胡的中部地區。
張全就怕這樣的事，打仗他不怕，就算打敗了，可隻要能削弱東胡的實力就行。不過碰到這種情況，張全也沒有急，他知道著急隻能亂了自己的方寸，於是他幹脆停留在東胡南部地區，把部隊都派了出去，強行搬遷那些留在南部的東胡各部。張全也不管男女老少，反正找到一個部落就搬一個，直接派兵先把人圍了，然後抓起來交給跟在後麵的邊軍步兵和民夫，讓他們回去的時候一同帶進長城，最後再統一安排，打散後分到全國各地，尤其是西疆、南越、東越等地。
張全給部隊的命令是，能不殺人就不殺人，隻要能解除對方的武裝就行。張全的初衷是好的，可現實卻沒有張全想的那麼簡單，開始的時候大家是這麼做的，就算碰到幾個反抗的也沒什麼，可時間一長就出了事，先是有個別部隊的圍剿的時候遇到反抗出了人命，最後動起手來，死傷甚多。再了最後，幹脆發生了屠殺整個部落的事，不過這些都是小部落，也就百八十號人，沒有引起張全的注意，直到有一天，三千人被殺，才讓張全開始考慮軍紀的問題。
這天，張全正在布置搜索任務，二師副師長金日磾找來了。劉徹死後，金日磾不願再留在宮中，希望能夠在疆場上建功立業，因此提出進入北軍，鑒於他在平定劉丹等人的叛亂中有功，劉據就答應了，先讓他進入虎賁營做鄭度的副手，虎賁營改編之後，他又做了二師的副師長。金日磾原本是劉徹的貼身侍衛，雖然是劉徹的近臣，但職位不高，這次能做到副師長的位置，已經算是破格提拔了。