顏良吃過黃巾軍的虧，這次用兵變得小心謹慎了，正好給了張寧軍撤退的時間，等他率軍到達修縣外圍的時候，修縣早已沒有了黃巾軍的蹤影。
張飛雖然兵少，但也沒閑著，他看到黃巾軍已經出城，就派出探子打探消息，見黃巾軍全都撤出了修縣，心中大喜，於是率軍直奔修縣縣城。
剛到縣城附近，就見顏良也揮軍靠近，張飛下令急行軍，要搶在顏良前頭入城。
顏良已經知道黃巾軍撤走，也想早點入城，但還是被張飛搶了先。
顏良到城下的時候，張飛已經在修縣城頭豎起了旗號。
“張飛，我奉渤海太守袁府君（對太守的稱呼）之命，來接收修縣，你可以撤走了。”
“少廢話，凡是皆有先來後到之理，修縣乃我部先占，該撤走的是你！”張飛喝道。
“無知鼠輩，修縣乃冀州渤海郡袁府君治下，你出於青州平原國，卻來冀州占城，如此以下犯上，你可知罪？”
“我呸！你渤海郡還是冀州治下呢，你怎麼不問問薑盛同意不同意我占城？”
“我隻認袁府君，與薑盛有何幹係？”
“哈哈，我隻認薑使君，占不占城跟你有何幹係？”
顏良頓時語塞，竟然不知如何作答，於是怒道：“我要做事，豈會看他人臉色，你撤不撤？要是不撤，我就把你打下來！”
張飛道：“要戰便戰，何必多言！我倒要看看你牙口硬不硬！”
顏良令全軍後撤五裏地，準備強攻修縣，張飛雖然口氣挺硬，但麾下兵馬實在少得可憐，也隻能任由顏良軍退去。
顏良見張飛並無動靜，心中分析，張飛的兵並沒有多少，於是就派兩千步軍進行試探性進攻。
張飛剛入城沒多久，任何防禦設施都沒有準備，隻能憑借城頭原有的物資進行防禦，但張寧軍撤退時帶走了大部分的箭矢，帶不走的桐油等物也都扔下了城牆，張飛能用的也隻有滾木和礌石了。
顏良在後陣看著前鋒的步軍動向，已經進入弓箭射程很多了，也不見張飛軍射箭，更加堅定了心中的看法，張飛兵少！於是就令全軍攻城，張飛看得心焦，但也無能為力，隻能等顏良步軍登城時進行防禦。
顏良軍中沒有雲梯車，就在城牆上架起了數百具雲梯，步兵們吼叫著往雲梯上爬去，張飛急令將士往雲梯上扔滾木、礌石，把雲梯上的兵士都砸了下去，不少雲梯也被砸斷，顏良看城頭防守的情況，判斷張飛也就是兩千多人，於是擊鼓進軍，全軍不計代價的往城頭衝去。
張飛見城頭的守城物資基本用完了，而顏良軍的攻城部隊仍然密密麻麻地往城頭攀登，知道根本就守不住了，於是急令全軍下城從南門撤退。
顏良誌在奪城，見張飛軍逃走，也不追擊，順利入了修縣縣城，張飛眼見奪修縣無望，隻得率軍灰溜溜地撤回了平原，關羽也是铩羽而歸，在與徐晃對峙了兩天後，接到的卻是劉備無援兵的回複，隻能迅速後撤，他進冀州後一仗未打就原封不動地撤回了平原。