希特勒任命從非洲回國的隆美爾為意大利北部德軍總司令，因為1943年7月15日，英美盟軍開始在意大利的西西裏島登陸，希特勒責令其在意大利中部組織防禦，阻止盟軍的進攻。
但是不久，隆美爾和南戰場總司令凱瑟林之間在意大利的防守問題上發生了意見分歧，而希特勒采納了凱瑟林的意見，把隆美爾調離了意大利。
隆美爾被調離意大利後，希特勒對怎樣安排他頗費思量。最後，希特勒決定派隆美爾到法國去，任務是徹底檢查和加強“大西洋壁壘”的海岸防禦工事。1943年11月5日，希特勒在“狼穴”頒布了這項任命。希特勒之所以選派隆美爾去西線，原因是在納粹的元帥和上將這一級別的指揮官中隻有隆美爾具有數年來一直與英美軍隊作戰的經驗。此外，他也想給隆美爾一個挽回聲望的機會，振作一下他的精神狀態。
1943年12月18日，隆美爾到了法國。1940年他曾率第7裝甲師一直打到法國西海岸。英軍不得不倉皇從敦刻爾克撤退。短短3年多，現在的局勢就大不相同了。那時德國處於進攻地位，現在則處於守勢；那時德軍的飛機在法蘭西上空橫行，現在英美空軍對德國和法國北部地區的轟炸已是家常便飯。
德軍的所謂“大西洋壁壘”，與其說是不可逾越的工事，不如說是戈培爾吹噓宣傳的產物。它的支撐點是逐漸建立起來並互相隔絕的，而且防守兵力不足。所以，隆美爾對能否阻擊盟軍的登陸信心不足。
隆美爾這時已無單獨決定重大行動的權力，他作為德軍西線總司令馮·龍德斯泰特屬下的B集團軍群司令，須接受龍德斯泰特的指揮和節製。隆美爾要求控製更多的裝甲師，但希特勒一直沒有答應。
1944年6月6日早晨，英美盟軍開始在諾曼底登陸。當天，隆美爾正在家裏為妻子露西慶祝生日，待他接到報告後趕到諾曼底前線時，盟軍已奪占了幾個縱深達10公裏的登陸點。至6月12日，登陸盟軍已達33萬人，而德軍統帥部才調來3個裝甲師和1個摩托化師，使諾曼底地區的德軍兵力增至12個師。
希特勒命令部隊不準實施新的部署和調動，而由他親自決定如何行動。他於6月17日到法國視察時，隆美爾建議部隊從諾曼底主動後撤，但被拒絕。
隨著盟軍自諾曼底登陸成功後向德軍防禦縱深的逐步推進，隆美爾對整個西線戰事越來越絕望了。他像當時的一些德軍將領一樣，希望希特勒能在西線與英美單獨媾和，然後集中力量去對付東線的蘇軍，為此他曾當麵與希特勒發生了衝突。
1944年6月29日，就在盟軍從諾曼底繼續向法國腹地挺進期間，希特勒在他的伯希特斯加登山間別墅裏召開了一次有西線將領參加的大本營軍事會議。會上，希特勒先發表一通旨在鼓勁打氣的演說，然後請隆美爾談談盟軍在諾曼底登陸以來的軍事局勢。但隆美爾談的卻不是這些，他鼓足勇氣當著希特勒的麵說道：“元首閣下，我作為B集團軍群司令，認為我有責任向您闡明西線局勢。首先談談我們的政治形勢，全世界聯合起來對付德國，而力量平衡——”