隆美爾感到心灰意冷。11月13日他憤然對身邊的人說：“但願我是柏林的報社老板，這樣我就可以每夜安然入睡，毋庸承擔眼下的責任。”他不管希特勒和墨索裏尼的命令如何，加速撤退，不發一槍一彈就放棄了利埃邊界的哈勒法亞隘口乃至托布魯克，並繼續西撤。
此間隆美爾的燃油十分缺乏。11月17日黎明，運送燃油的德國商船“漢斯阿爾普”號被英國潛艇擊沉。凱塞林想方設法空運了80噸汽油給隆美爾，這樣他才逃出班加西。
在利比亞北部重要的港口城市阿傑達比亞，隆美爾的部隊再次發生了燃油危機。凱塞林電告說：“現在你已越出我們的航程，空投汽油已不可能。”隆美爾絕望地躺在他的指揮車裏，雨點不停地敲打著車頂。他不知所措，11月21日痛苦萬分地寫道：“不敢期望我們的命運有什麼好轉，除非出現奇跡。”奇跡還真的出現了。一位空軍偵察人員發現從阿格拉到卜雷加一帶的海岸邊漂浮著成千的箱子和油桶。這是遭魚雷襲擊的“漢斯阿爾普”號油船上的貨物。隆美爾聞之大喜，大叫道：“真他媽的天無絕人之路。趕快下海打撈上來！”靠了這點劫後殘存的燃油，這隻“沙漠之狐”於23日安然無恙地撤出了阿傑達比亞，把裝甲集團軍帶到卜雷加一線。這樣他在沒有遭受重大損失的情況下從阿拉曼後撤了1300公裏。
卜雷加戰役
嚴格意義上說來，卜雷加戰役算不上什麼戰役。因為當蒙哥馬利發動總攻時，隆美爾又溜掉了。
卜雷加在阿蓋拉以東不遠處。隆美爾的部隊駐足卜雷加後，蒙哥馬利就準備了一個“就地消滅敵人”的作戰計劃——一麵發動正麵猛攻，壓住隆美爾，一麵派出一支強大部隊作遠程迂回側擊，以堵截隆美爾的退路。為了做好準備，蒙哥馬利的部隊在卜雷加德意軍防線前停了兩個星期，以等待增援和供應。正麵進攻定於12月14日。正麵進攻由第51高地師等部進行，執行迂回任務的是新西蘭師，關鍵取決於該師的推進速度和能否截斷隆美爾部隊的退路。
到達卜雷加防線後，隆美爾對該地隨即進行了視察。這一帶他並不太陌生。1941年的冬季血戰中，他在奧欽萊克指揮的英軍壓迫下被迫從托卜魯克撤退到卜雷加及稍後的阿蓋拉一帶，接著他在1942年初瞅準時機猛撲過去，迫使英軍退到加紮拉一線。1942年5月他又一個猛烈攻勢突破英軍防線，尾隨敗退的英軍直至阿拉曼，幾乎叩開開羅大門。然而物換星移，時過境遷。現在對麵的英軍占有壓倒的優勢，北非西海岸的英美部隊又威脅著他的後路。隆美爾撫今追昔，感慨萬端。現在不要說再來次漂亮的反攻，能否守住當前的防線都還是個未知數呢！
隆美爾視察後很快得出結論：卜雷加防線非久留之地。這條防線長達160公裏，是阿拉曼防線的1.5倍。阿拉曼防線有近50萬顆地雷，有機動部隊和重型武器裝備，而現在隻有3.2萬顆地雷，沒有機動部隊可以抵擋敵軍的迂回包抄，部隊的重型武器和反坦克炮損失殆盡。要守住卜雷加防線談何容易。
隆美爾把自己的結論迅速上報德國和意大利的最高當局。但墨索裏尼命令他堅守在那裏，希特勒也讚同這一主張，並要隆美爾再次服從意大利巴斯蒂柯元帥的指揮。隆美爾使出渾身解數，千方百計說服希特勒和墨索裏尼改變決定。
11月24日，隆美爾、凱塞林、卡瓦利諾和巴斯蒂柯四位空軍元帥召開了一次三小時會議。隆美爾爭辯說：“我現在僅有35輛坦克和57門反坦克炮，而蒙哥馬利手中卻擁有420輛坦克和300輛裝甲車，這個仗怎麼打？”
卡瓦利諾身為意軍總參謀長，以命令的口氣說：“領袖和元首要你堅守卜雷加防線！”
隆美爾苦笑了一下：“既然這樣，我再說也徒勞無益。但我要提醒一句，要是卜雷加防線失守，那在的黎波裏前麵就沒有任何力量進行抵抗了。”
的黎波裏在卜雷加以西1000餘公裏，是意大利在北非殖民地的重要港口，意大利人的命根子。隆美爾此言一出，卡瓦利諾和巴斯蒂柯都僵住了，半天說不出一句話。
凱塞林連忙打圓場：“我們十分欽佩你從阿拉曼的撤退，在一條1300公裏長的路上拉回一支龐大的部隊，就連敵軍也無法阻擋住，這在戰爭史上是空前的。”
隆美爾不耐煩地回答說：“那又有什麼用！假如在一兩天裏敵人在這條戰線上纏住我軍，然後以強大兵力迂回夾擊，我該怎麼辦？”他的話無人對答。
隆美爾對無休止的爭論厭倦至極。11月29日，他擅自飛往德國麵見希特勒。當下午5點他走進希特勒大本營的會議室時，希特勒驚得目瞪口呆，劈頭便問：“你沒有我的允許，怎敢擅離職守？”
當隆美爾開始詳盡彙報他的軍隊所處的困境和卜雷加防線的不利以及意大利人的後勤組織如何低效無能時，希特勒不耐煩地打斷了他：“你手頭還有多少人？”
隆美爾說：“大約六七萬人。”
“英軍進攻時你有多少人？”
“82000人。”
“看起來，”希特勒指出，“你並沒有遭到什麼嚴重損失。”
隆美爾爭辯說：“可我們的武器幾乎都喪失了。成千上萬的士兵甚至連支步槍都沒有。”
希特勒大聲叫道：“那是因為他們把槍都扔掉了。”
隆美爾也抬高了嗓門：“非洲已無法固守，唯一能做的事是盡量把德軍撤出非洲。”
隆美爾關於撤退的話猶如火花飛進了炸藥桶。希特勒尖聲喊道：“你提出的建議和我的那些將軍們去冬所幹的完全是一碼事。他們要求退到德國邊境，我拒絕這樣搞，事實證明我做對了。我不允許這樣的戲在非洲重演。我們之所以必須在非洲保留一個大的橋頭堡，是因為它有著十分重要的政治原因。假如我們丟掉了北非，就會對意大利產生嚴重影響。因此放棄的黎波裏塔尼亞是絕對提不到議事日程上來的。”
晚上8點，隆美爾垂頭喪氣地走出希特勒的司令部。不一會兒就登上了納粹德國第二號人物戈林的專列。他和戈林將前往羅馬與墨索裏尼商談。在慕尼黑，隆美爾的妻子露西上了火車。兩人竊竊私語。露西發現，隆美爾的精神已近崩潰。隆美爾告訴她，北非之戰已輸定了。
11月30日下午，隆美爾在羅馬參加了墨索裏尼召開的作戰會議。會上又是一陣急風暴雨般的爭吵，最後總算達成協議。墨索裏尼決定，隻有隆美爾在確信蒙哥馬利即將進攻卜雷加的情況下，才允許他撤到的黎波裏以東360公裏的布厄艾特一線。
12月2日清晨，隆美爾飛回利比亞。此時他心力交瘁。與希特勒的會見使他絕望，相比之下他覺得墨索裏尼比較講道理。一回到卜雷加，隆美爾就急於搜集燃油，部署撤退。他親自飛往布厄艾特，從空中視察地形和安排撤退道路。從12月6日起，意大利步兵部隊先行撤出卜雷加。隨後的日子裏，隆美爾便待在司令部裏，期待著蒙哥馬利的坦克大衝鋒。他要乘蒙哥馬利集結好部隊，準備最後一擊的時刻把自己剩下的部隊一下子拉走。
正當隆美爾全力爭取允許撤退的命令時，蒙哥馬利卻抽時間飛往開羅度周末去了。他去看望了中東總司令亞曆山大，購置了一些新衣服，去參加大教堂星期日的早禮拜。當蒙哥馬利從開羅返回後，發現隆美爾有撤退跡象。為防止這隻狡猾的狐狸不打一仗就溜掉，蒙哥馬利決定提前發起進攻。他下令第51高地師從11日晚上就對卜雷加主陣地進行猛烈襲擊，企圖吸引住隆美爾的部隊，全麵攻擊仍定於14日進行。擔任迂回任務的新西蘭師從卜雷加防線南端繞過去，要前伸360公裏，並於12日開始攻擊。但是許多事情都出了差錯。
英軍的正麵進攻一開始，隆美爾就撤出了卜雷加防線。英軍的炮火還在拚命轟擊，但12日衝上來一看，陣地上已空蕩蕩的，鳥兒又一次拍翅飛去。隆美爾在自己的《戰時文件》中寫道：“這位英國指揮官的作戰計劃中包含著一個錯誤。經驗應當使他懂得，我們是不可能在卜雷加應戰的。因此，在英軍實施翼側包圍的部隊完成調動並能沿海岸公路推進以便與正麵攻擊協調以前，他是不應當轟擊我們的據點和攻擊我們的防線的。”