當晚吳軍又在城外擊鼓，張遼卻命眾軍隻留下少許值夜，其餘都各自休息，不理會城下，自己也回府中休息。待到半夜，張遼睡得正酣，忽聽外麵殺聲大作，又覺不妙，急忙起身出府。剛至門口，就有軍士來報，言吳軍乘夜攻城，守城士兵措不及防，已經攻上城牆，恐不多時就能殺入城來。
張遼知又中計，連聲叫苦，急忙取兵器出來，正遇樂進，李典二人趕來。樂進見麵便道：“事已至此，吾等當率軍奮力死戰。”言罷便欲與李典一起殺出。張遼卻大聲喝止，道：“樂文謙，此時汝豈可懲匹夫之勇？”
樂，李二人被他一喝，都停下腳步，隻聽張遼又道：“今合肥已破，你我徒死何益？丞相此時大軍不在，某等一死了之。壽春何人能保？若吳軍再奪占壽春，則淮南之地非國家所有。你我不愧對丞相麼？”
樂進聞言，誠惶誠恐，問道：“那文遠意下若何？”張遼於是分派道：“曼成先保護薛護軍等文士出城；文謙可速帶人將城中一應糧草輜重全部焚毀，再與曼成回合，退往壽春堅守以待丞相大軍。”
兩人領命欲去，樂進走得兩步，卻轉身問道：“文遠則欲何往？”張遼眼望城上，見已有吳軍旗幟飄揚，冷然道：“丞相以此城托付與某，某自當與城共亡，為公等斷後。”
“不可。”樂進立時上前，道：“丞相以公重任，可速退保壽春。樂某無能，願為公斷後。”此時殺聲漸近，張遼不與二人多言，翻身上馬，卻複見樂進挽住韁繩，遂厲聲喝道：“某為主將，汝敢抗軍令乎？還不速去。城中若有一粒米糧落入吳軍之手，汝何以對某於泉下？”樂進虎目含淚，卻也隻得鬆手，又見張遼身後獨子張虎，乃道：“少將軍可與某共去。”
張遼轉身見張虎年紀尚幼，稚氣不脫，心中也感不忍，便欲命張虎與樂進同去。張虎卻知其父心意，毅然道：“父親盡忠，兒當盡孝。”張遼原是偉丈夫，見子如此心中甚慰，不願再作兒女之態，高聲道：“好孩兒。今日就讓吳狗知我張氏父子名號。”催馬便揮槍衝向城門。樂，李二人見不能止，也隻得分頭行事。
吳軍乘夜攻城，合肥守軍皆倉促迎戰，又加上連日疲憊，是以抵擋不住。淩統日前見甘寧有功，心中不服，今夜奮勇上前，當先入城，正在胡亂砍殺曹軍士卒。忽見張遼殺至，卻也認得，乃大聲道：“張遼還不前來受死。”拍馬上前。張遼也不言語，揮搶便戰。
兩將大戰數十回合，不分高下。此時吳軍已經攻入城中，曹軍或死，或撤，張遼身邊所剩無幾。張遼見自己已被團團圍住，回顧左右親兵死傷殆盡，隻有張虎引人苦苦支撐，見大勢已去，心中默念道：今日吾父子二人皆戰死此處，無愧丞相厚恩。
正想間，卻聽得弓弦響動，一支羽箭射向淩統。淩統急欲躲時，已中右臂，手中兵器落地，拔馬便走。張遼抬眼望去，卻是樂進引部曲前來相救。二人下殺至一處，張遼乃道：“文謙何故複返？”