而在趙沐調兵遣將準備將懷縣城外的異族聯軍一網打盡時，素利的鮮卑人悄悄退到了上黨，準備圍困張懿的並州軍，其實並州地區相對平緩，適合耕種或是屯兵，並不適合設伏，素利也是好不容易才在上黨西北找到了一片相對陡峭的山穀，決定在此地伏擊張懿的並州軍。
就在張懿的軍隊行至上黨準備往河內懷縣時，素利在張懿的並州軍必經之路上展開了陣型，張懿看到素利的軍隊也並不意外，因為自己的四萬大軍行進，蹤跡很難隱藏，既然素利來了，直接正麵擊潰就好了。
素利為了成功引誘張懿進入上黨西北的山穀帶來的人馬並不多隻有五千，主力都在上黨西北的山穀中，張懿看到素利隻有五千人，覺得要先挫一挫異族的銳氣，決定先把素利的這些人馬全部擊潰，於是張懿指揮並州剩餘的一萬騎兵對著素利率領的五千鮮卑騎兵展開了猛烈的進攻，並州騎兵作為常年與異族作戰的邊軍，戰力自然不差，與鮮卑騎兵戰鬥不落下風，且由於人數優勢，將素利的五千騎兵打的節節敗退。
為了讓敗退顯得更加逼真，素利並沒有第一時間選擇撤退，而是讓鮮卑騎兵拚死抵抗，最後再佯裝不敵敗退，而張懿看到鮮卑人如此激烈的抵抗再次朝大軍發起了命令，並州軍的弓箭手朝著鮮卑騎兵發起了射擊。
鮮卑騎兵一時不察數百騎兵被紛紛射倒在地，配合並州騎兵的攻擊一瞬間將鮮卑騎兵的前部瞬間斬殺的幹幹淨淨，然而慘烈的廝殺還在繼續，雙方都已經殺紅了眼，鮮卑騎兵仿佛忘卻了自己乃是誘敵而已，看著慘烈的雙方素利認為時機已到，趕忙讓手下士兵集合向著伏擊地點退去。
張懿將剩餘的鮮卑騎兵全部剿殺過後，開始追擊逃跑的素利，張懿決定定要將這夥敵軍全部殲滅，因此下令並州軍全速前進，追趕素利。
就這樣雙方一追一逃了兩個時辰，素利成功將張懿引至上黨西北的山穀，隻見素利率領剩餘的士兵往山穀一鑽不見了蹤影，張懿看著煮熟的鴨子竟然飛了，肯定不能放過，命令並州全速追擊，通過山穀，而手下的部將見前方山穀鳥不入林認為一定有埋伏，勸誡張懿還是小心為上，可已經上頭的張懿卻認為素利已經被嚇破膽了，不可能有埋伏，執意讓並州軍通過山穀。
就在並州軍半數通過山穀時，從山穀上方滾下來巨石及箭雨將山穀的並州軍斬殺無數，整個山穀響起了並州軍的哀嚎，好在並州軍常年作戰，立馬紛紛開始尋找掩體，躲避巨石與箭雨。
看著不斷被弓箭射殺和被巨石砸死的並州士卒，張懿心如刀絞，此刻的他全然沒有了之前的意氣風發，隻剩下不斷的懊惱和後悔，將並州軍帶入如此絕境，拿起手中的長劍就要自盡。
部將見張懿將劍抵住自己的脖子，拚死將張懿的劍奪下道“尚未到絕望之時，刺史怎可輕死。”張懿看著部將長歎道“我辜負了陛下的信任，將並州軍帶入如此境地，還有何麵目麵見陛下，唯有一死爾。”
部將勸道“刺史大人何必如此悲觀，雖我等被困山穀，未必沒有反敗為勝之機，隻要呂布將軍與衛將軍趙沐發現我等被圍困，勢必會遣人來救，屆時我等來個裏應外合，說不定可將匈奴鮮卑人一網打盡，將功贖罪。”