9月20日，拿破侖向沙皇派去一位和平使節進行試探，結果沒有反應。他繼而向庫圖佐夫試探，也毫無成果。10月18日，庫圖佐夫突襲在莫斯科西南50英裏的塔魯蒂諾的繆拉。繆拉措手不及，被迫撤退，結果損失了一些兵員和火炮。拿破侖終於意識到此地不可久留。10月13日，開始下雪，這是繼溫暖的秋天之後的第一場雪。10月19日，拿破侖的大軍團即開始撤離莫斯科。
由於繆拉在塔魯蒂諾受挫，拿破侖有必要予以支援。因此，大軍團的撤退方向一開始是向西南的。10月20日，庫圖佐夫在馬洛-雅羅斯拉維茨攔截法軍，在此展開一場廝殺，法軍損失了五千人，大部分係歐仁親王的意大利軍。法軍此時處境艱難，幸虧庫圖佐夫突然中止作戰向西撤去。不過，他仍威脅著法軍的退路。拿破侖遭此挫折便心神不寧，遂折向西北以便經維亞澤瑪和斯摩棱斯克這條近路繼續撤退。
大軍團的撤退，現在變成了一個做不完的惡夢。大軍團的兵力已銳減至六萬五千人，其中包括一萬五千名騎兵。現在，不僅側衛，甚至主力縱隊每天都會受到哥薩克騎兵的襲擾，他們對每一個掉隊者都不留情。法軍被迫放棄許多傷員，連滿載著戰利品的運輸車輛也都甩掉了。11月初，內伊奉命指揮後衛，其本部僅剩六千人。由於庫圖佐夫緊迫不舍，結果11月3日，兩軍在維亞澤瑪惡戰一場，法軍傷亡五千。11月5日，首降大雪，這就加劇了撤退的痛苦。次日，巴黎傳來了馬萊謀反的驚人消息，說的是一個名叫馬萊的將軍因政治問題被監禁四年後，於10月23日，在醫院治療時脫逃，他宣稱拿破侖已死於俄國，並逮捕了拿破侖的警察總監薩瓦裏將軍。然而馬萊很快就被抓獲並經軍事法庭審判之後處決。
現在，幾支俄軍都在向撤退中的法軍逼近，在北麵，維克托軍已被掩護聖彼得堡通道的俄軍維特根施泰因部逐出了波洛茨克。11月7日，貝爾蒂埃奉命用明碼將下述命令傳達給維克托：
陛下命令你立即集中你部六個師進攻敵軍，將敵逐過德維納河並收複波洛茨克，不得延誤。
繼而用密碼說：
此次行動事關重大。不出幾天，哥薩克人就會在你的後方潮水般湧來。明天大軍團和皇帝將抵達斯摩棱斯克，但馬不停蹄地行軍三百英裏之後必定疲憊不堪。你務必采取攻勢，全軍安危在此一舉，任何拖延都將鑄成大錯。軍團騎兵已無坐騎，馬匹全都凍死。前進！這是皇帝的命令。除此以外，別無他擇。
其實並非嚴寒凍死了法軍的馬匹，而是因為法軍未象俄軍那樣在馬蹄上加釘防滑釘，以致法軍戰馬越過冰凍的江河湖沼時，常常摔斷馬腿。
11月9日，拿破侖到達斯摩棱斯克，大軍團殘部到13日也相繼彙集那裏。法軍生還者僅五萬，騎兵僅有寥寥幾匹戰馬，此外有二百門火炮被丟棄。斯摩棱斯克本是法軍交通線上的一個主要兵站，但維克托軍團看守基地醫院和補給倉庫駐此達二月之久，結果將存糧消耗殆盡，以致全軍現在找不到任何可吃的東西。
11月14日，拿破侖離開斯摩棱斯克，豈料，歐仁的前衛部隊於11月16日在克拉斯諾為庫圖佐夫所阻，俄軍現在擋住了法軍的退路。一場激戰隨即爆發，但拿破侖相當果敢，立即將近衛軍和達武軍拉上去，庫圖佐夫再次退走。內伊率領的後衛部隊與主力的聯係一度被俄軍切斷，經過一番苦鬥，內伊才殺出重圍與主力會合，使其六千人的部隊生還者僅剩八百。
大軍團此時正麵臨著極其嚴峻的考驗。拿破侖本想退往其最近的補給兵站明斯克，但11月22日，他獲悉明斯克已被俄國海軍上將奇恰戈夫占領，而這支俄國生力軍是俄土和約締結之後，俄軍從摩爾達維亞抽出來的。因此，拿破侖被迫取道更北麵的一條路線退往維爾納。在這條退路上，橫臥著第聶伯河右岸的一條支流別列津納河的沼澤河穀。跨越該河的唯一橋梁位於鮑裏索夫，此處原有一個波蘭師據守，但11月21日，俄軍奇恰戈夫部奇襲鮑裏索夫時焚毀了該橋。烏迪諾軍雖奪回了鮑裏索夫，但由於奇恰戈夫仍在對岸，法軍重建該橋是不可能的。此外，由於天氣驟然轉暖，冰化河開，別列津納河泛濫的河水夾著大塊大塊的浮冰自上遊流下，法軍步行過河也是不可能的。於是，拿破侖派了一個名叫埃布勒的炮兵將軍去北邊更遠一點的一個地方架橋。正是這個埃布勒將軍在任馬塞納軍炮兵司令時，曾為瓦格拉姆會戰成功地完成過在多瑙河上架橋的任務。這次，他在鮑裏索夫以北五英裏的斯圖蒂楊卡找到了一個合適的架橋點，該處的渡口僅有少量哥薩克巡邏隊在看守。埃布勒克服了重重困難終於在11月25日建起了兩座長一百六十碼的高架橋：一座供步兵通過；另一座供火炮和運輸車輛通過。這樣，在其後兩天內，全軍都渡過了該河。
然而，這兩座橋上的擁擠情況是駭人聽聞的。11月22日，拿破侖曾下達過下述簡短的軍令：
必須減少輜重。所有將領和參謀軍官凡有幾輛輜重車的應燒去一半，將馬匹送到停炮場，交炮兵使用。
但是許多人違抗命令，結果橋上竟被一群群亂哄哄的男女和騾馬車輛擠得水泄不通。此刻俄軍正從三麵殺來：奇恰戈夫在南，維特根施泰因在北，米洛拉多夫克與庫圖佐夫前鋒在東。俄軍炮火也從俯控高架橋的山脊上射來，更加劇了橋上的混亂。維克托率後衛三千人於11月29日晨過橋後即將橋焚毀。法軍損失約二萬五千人。
搶渡別列津納河是大軍團的"天鵝之歌"，因為它從此便喪失了戰鬥力。12月3日，拿破侖在莫洛傑奇諾寫下了其著名的第29號公報，該文頗為真實地記敘了11月6日以來各次作戰的情況。它最後一段是這樣寫的：
我們的騎兵已無馬可騎，以致我們不得不把那些還有一匹馬的軍官召集攏來組成四個連，每個連一百五十人，由將軍任上尉，上校當軍士。這支神聖的騎兵隊伍由格魯希將軍指揮，直接聽命於那不勒斯國王(繆拉)，在一切行動中隨待皇帝左右。陛下的身體從未這樣健康。
兩天以後，拿破侖在斯莫爾岡把軍隊交給繆拉指揮，自己則由科蘭古陪同乘車奔赴巴黎。12月18日，他回到了杜伊勒裏宮。
拿破侖這樣做是不無道理的，因為其大軍團作為一支戰鬥力量已不複存在，而其新交的盟友，就是明天的敵人，倒戈在即，他的帝國眼看陷入絕境。12月30日，統率普魯士軍的約克將軍一抵達東普魯士，便與在陶拉格的俄軍簽訂了停戰協定。率領奧地利派遣軍的施瓦岑貝格親王也單獨與俄軍奇恰戈夫上將簽訂了停戰協定。1月17日，繆拉抵達波森(波茲南)，這時他突然想起他是那不勒斯國王，於是趕緊把軍隊交給歐仁親王指揮，自己回溫暖地帶去了。
西班牙軍團此時早已交給無能的約瑟夫國王任其擺布。威靈頓7月份在薩拉曼卡戰勝馬爾蒙迫使約瑟夫倉皇撤離馬德裏，這就大大地激勵了西班牙國民的士氣。拿破侖在俄國一敗塗地的消息傳來後，進一步增添了他們的勇氣。西班牙軍團也注定要完蛋，因此拿破侖兩頭落空。
事後指出拿破侖在征俄戰役中所犯的軍事錯誤是容易的。其第一亦即最大的錯誤莫過於尚未征服西班牙就踏上了征俄的險途。他原想孤注一擲，企圖夏天在立陶宛平原一舉擊敗俄軍，而不必另找麻煩率領多國聯軍穿越白俄羅斯荒原。但當俄軍避而不戰，先後從北麵、東麵和南麵溜走時，大軍團就已經在劫難逃了。這種規避並非俄軍在戰略上有什麼高招。事實上，完全是由於其將領們優柔寡斷，缺乏合作之所致，誠然其結果是一樣的。8月底，任命肥胖且缺乏生氣的庫圖佐夫接任總司令一事確保了這種規避戰略得以繼續。唯有一次，盡管是勉強的，庫圖佐夫的確打了一場對陣戰。而那次，拿破侖又碰巧生病，加上猶豫不決，致使那次戰鬥發展成為對一支沉著應戰的守軍所進行的一次正麵進攻。拿破侖在戰鬥中所作的唯一的一次決定是在緊要關頭拒絕投入其近衛軍，結果喪失了一次獲得決定性勝利的機會。
如果在決定越過斯摩棱斯克繼續行軍之前，把交通線組織得好-些，並且在給官兵提供冬裝，為軍馬加釘防滑釘方麵都預有準備的話，那麼從莫斯科撤退的痛苦也許會減輕一些。拿破侖慣於采用的因糧於敵的那套做法在俄羅斯的荒原上根本行不通。認為他的這次慘敗是由於非同尋常的嚴寒所致也是錯誤的。事實上，那年冬天較往常溫和，至少在11月中旬以前是如此。拿破侖的空前厄運恰恰是由於那年11月的最後一周，已經封凍的別列津納河突然解凍而帶來的。
拿破侖對征俄戰役的指導表明，其軍事才能已開始衰退，不過還遠未衰竭。