已下定決心撤離非洲的隆美爾開始給希特勒寫報告：
未來的形勢很明顯，敵軍將從內陸向我們包圍，幾天之內殘餘的部隊勢必被圍殲。單靠我們的剩餘部隊和為數不多的武器是不可能守住昔蘭尼加的。我們必須立刻著手從昔蘭尼加撤，加紮拉防線對於我們也毫無幫助，因為我們已不可能把所剩無幾的部隊調到那裏去。再者，我軍很快就會遭到夾擊包圍。我們從一開始就該後撤至卜雷加一線，在那條防線的後方或許夠有喘息的機會，部隊若是不能大規模休整，不能設置一條防線阻止住從西麵向我們推進的敵軍，最好的辦法就是撤至昔蘭尼加的群山之中，形成守勢，然後再用潛艇、小船和飛機在夜間盡量把大批訓練有素的士兵運回歐洲，以便投入其他戰場。
然而，希特勒卻另有想法。他認為隆美爾一旦從非洲撤退，必將導致墨索裏尼的垮台，一旦墨索裏尼垮台，一個反法西斯的意大利必然對德國產生嚴重的後果。
他在給隆美爾的回信中寫道：“我百分之百地相信你和你的部隊在阿拉曼已盡了全力，而且對你的指揮也十分滿意，撤退是可以的，但隻有在阿拉曼防線的北部地區完全落入敵軍手中時，才應該考慮這個問題，現在考慮顯然為時過早。”
隆美爾看完信後，感到心已涼了半截：“事到如今，隻能采取自救的辦法了，我的元首，您也未免太殘忍了！”顯然，隆美爾已決定再次違背元首的命令。
很快，“非洲軍團”在隆美爾的指揮下，一路狂奔直趨突尼斯。他們先是放棄了極具戰略意義的阿蘭哈爾法山口，接著又丟掉了曾經凝聚過他們榮譽和輝煌的托布魯克。當隆美爾率軍撤退到著名的卜雷加防線時，後勤供應軍官向他報告了一個災難性的消息：“元帥閣下！我們的部隊目前隻剩下10噸汽油了，而且這些汽油還存放在遠在80多公裏以外的地方。”
隆美爾聞言，不由得倒吸了一口冷氣。他明白，整個軍團的燃料供應已經完全陷入了死胡同，他就是再有才華，也難以帶領這支失去了動力的軍隊走出困境。
11月23日，隆美爾和他的部隊安然無恙地撤出了阿傑達比亞，把裝甲軍團帶到卜雷加防線。事實上，他是在沒有遭受什麼損失的情況下從阿拉曼一直後撤了1200多公裏。
到達卜雷加防線後，隆美爾對該地隨即進行了視察。他認為這不是進行防禦的好地方，並急於再次向西移動，可是墨索裏尼命令他堅守在那裏，希特勒也不允許他再撤退。
11月24日，為了撤與不撤之事，隆美爾、凱塞林、卡瓦利諾和巴斯蒂柯4位陸軍元帥召開了一次長達3小時的會議。
會上，隆美爾態度粗暴地說：“我覺得完全沒有必要在卜雷加死守這條防線，你們應當清楚，我的部隊隻有35輛坦克和57門反坦克炮了，而蒙哥馬利手中卻有420輛坦克和300輛裝甲車。”他不容別人插話，“要是在卜雷加防線失守，在的黎波裏前麵作任何抵抗都將無濟於事。”
盡管如此，會後不久，墨索裏尼還是要求隆美爾向英軍發動進攻。在絕望中，隆美爾采取了最後的步驟：回德國向希特勒呼籲。
11月28日，希特勒以極不友善的態度接見了他。隆美爾得到的結果是，希特勒派遣戈林作為全權大使和他一起到羅馬進行另一輪毫無成果的談判。
隆美爾在日記中這樣寫道：“在飛回非洲的時候，我明白隻能依靠我們自己手頭的資源了。”然而，在物資方麵，特別是油料和食品，德國裝甲集團依然擺脫不了饑餓的狀態。
隆美爾一次又一次地化險為夷，使經過曠日持久的長途追擊，昔日士氣高昂、兵精糧足的英軍也開始感到一些不妙。官兵們開始對艱苦的沙漠之戰產生一些抱怨。尤其是兵強馬壯的第8集團軍竟然始終追不上幾乎快要潰不成軍的“非洲軍團”，這使蒙哥馬利意識到這樣下去的可怕後果——阿拉曼戰役給他帶來的巨大聲譽有可能化為烏有。