政治局委員都來了，斯大林詢問他們的意見，但是沒有回答。沉默一陣後，鐵木辛哥說話了：“應該立即命令邊境軍區所有部隊進入一級戰備。”朱可夫把在總參謀部隊訂的命令讀了一遍。命令強調必須根據打退敵人進攻的作戰計劃采取堅決行動，但斯大林仍沒有放棄他的希望，以為這也許是一場虛驚。他說：“現在下達這樣的命令還太早，也許還可以和平解決。”斯大林讓人重新起草命令，發往列寧格勒、波羅的海西部、基輔和敖德薩各軍區的前線部隊，要他們立即做好準備，準備抗擊德國可能發動的突然襲擊。
１９４１年６月２２日０時３０分這項命令下達完畢，但許多集團軍尚未接到命令時，德軍已發動了全線進攻。
德國以１６２個師，３０萬人，３４００輛坦克，７０００門火炮分３路進軍：北路指向列寧格勒、中路指向莫斯科、南路指向烏克蘭，向蘇聯發動進攻。蘇聯就是在這種背景下倉皇應戰的。
德國的大規模突然進攻，出乎斯大林的意料之外。由於他判斷和部署的失誤，使蘇聯遭受極大損失。
通信聯絡中斷，莫斯科幾乎失去了同各軍區之間的聯絡。斯大林和他的統帥部並不知道，在戰爭第一天，蘇軍共損失了１２００多架飛機，大部分飛機是被德軍炸毀在機場上的。德軍掌握了製空權並從寬約１５００公裏的廣大地區向蘇聯發起正麵進攻。德國的坦克部隊和摩托化步兵師潮水般衝向蘇聯各邊防要塞和城市。蘇軍在邊境地區的軍用倉庫、武器彈藥及其他軍需物資，幾乎全部落入德軍手中，蘇軍官兵雖然奮力反擊，但無法阻擋德軍的快速推進。在戰爭的頭幾天，蘇聯西部邊境各條戰線都是亂糟糟的，有時簡直是一片混亂。統帥部不斷發出新的指示和命令，但這些指示和命令又都落後於急速變化的形勢。在戰爭的頭五六天裏德軍就深入了蘇聯國土１５０～２００公裏。
斯大林心情沮喪，甚至有些慌亂，但他很快從消沉的情緒中擺脫出來，振作起來，重新負起他身上的重任。為了摸清前線情況，他命令大本營的朱可夫大將到西南方麵軍、沙波升尼科和庫利克元帥到西方方麵軍。
６月２８日，德軍在明斯克完成合圍，蘇軍４３個師又３個旅被圍殲於明斯克，傍晚，白俄羅斯首府明斯克失守。斯大林沉痛地說：“列寧親手締造了我們的國家，而我們大家卻把它誤了！”
為了戰爭的需要，斯大林親自兼任了國防人民委員，稍後，又親自擔任蘇聯武裝部隊最高統帥。斯大林集黨、政、軍大權一身，這在戰爭時期是必要的。斯大林命令將工業向東轉移，根據這個命令，１５００多個企業其中包括１３００多個龐大軍工廠，向後方疏散。這些工廠很快就完成遷移，並又很快地恢複生產，這為以後的戰爭勝利打下了深厚的物質基礎。
德軍攻破了列寧格勒以東２０公裏的築壘區。９月８日，攻占了拉多加湖畔的計利湖利堡。列寧格勒被德軍包圍，列寧格勒居民開始了近５００天的保衛戰。
在西南方向，德軍的南方集團軍群從利沃夫出發，直逼烏克蘭首都基輔。朱可夫緊急求見斯大林，向斯大林彙報總參謀部的作戰方案，建議加強中央方麵軍，建議把西南方麵軍撤到第聶伯河以東。斯大林問道：“基輔怎麼辦？”朱可夫堅持己見：“基輔不得不放棄。”斯大林發火了，他高聲說道：“把基輔交給敵人，虧你想得出來。”朱可夫委屈地回答說：“如果你認為我這個參謀長隻會胡說八道，那麼還要我幹什麼？我請求解除我的總參謀長職務，把我派到前線去，我在那裏可能對祖國更有好處一些。”
“請你冷靜些，”斯大林說：“再說……如果你這樣提出問題，那麼我們缺了你也能行……你去工作吧，我們一會兒叫你來。”大約半小時後，朱可夫被召去。斯大林說：“我們商量了一下，決定解除你的總參謀長職務，由沙波什尼科夫接任。他的身體確實不太好，但沒有關係，我們可以幫助他。”
斯大林接著問朱可夫，願意上哪，並同意由他來指揮他所提議的對葉爾尼亞突擊部的反突擊。