為了欺騙和麻痹斯大林，希特勒對各項戰爭的準備工作，采取了一係列的政治欺騙和戰略戰役偽裝措施。“巴巴羅薩”計劃簽署後，德國居然還煞有介事地批準出售給蘇聯新式飛機和一些技術兵器，並製造準備橫渡英吉利海峽進攻英國的假象；當大批軍隊東調之時，又再三向蘇聯解釋這是以新兵接替老兵等。
斯大林並不懷疑戰爭的爆發是遲早的事情，但他在時間的判斷上犯了錯誤。他不相信希特勒會在沒有收拾英國之前動手，即使在德國軍事機器的彈簧縮緊到準備對蘇聯實施致命打擊的時候，他還是希望能防止發生可怕的衝突，因而對英國的緊急警報以及蘇聯在日本的傑出情報人員佐爾格的報告，持懷疑態度。
戰爭爆發前的10天，國防委員鐵木辛哥鑒於戰爭已迫在眉睫，曾要求下令邊境軍區部隊進入戰時準備，展開第一梯隊。但斯大林唯恐德國借此挑釁，沒有立即下令。
6月21日夜間，朱可夫從基輔打來的電話裏獲悉，一名德軍司務長越過了防線告訴蘇軍指揮員，德軍將在次日淩晨進攻。朱可夫立即向斯大林作了報告。
而斯大林這時還不願相信這個事實。在總參謀長的堅持下，斯大林召集政治局委員，經過討論和研究，他才同意發布命令，讓邊境軍區所有部隊進入緊急戰備狀態，但是，已經為時太晚了。
幾個小時後，他最不願發生的戰爭終於爆發了。
1941年6月22日，德國法西斯撕毀《蘇德互不侵犯條約》，不宣而戰，向蘇聯發動了空前規模的襲擊。
就在斯大林終於明白他對戰爭的判斷錯誤之時，希特勒正在柏林的府邸中拍手稱慶，這個法西斯執政者洋洋得意地吹牛道：“我們隻要在門上踢上一腳，這間破爛房子馬上就會垮掉！”
一場規模空前、意義巨大的大決戰，在蘇聯國土上展開了。斯大林麵臨著嚴峻的考驗。
22日淩晨，蘇共中央所有的政治局委員都集合在克裏姆林宮斯大林的辦公室裏。斯大林神情嚴肅，臉色蒼白，手裏握著沒有點燃的煙鬥，半天沒有說話。他那雙深沉難測的眼中，露出震驚和憤怒的目光。這無疑是他一生中受刺激最大、精神最痛苦的時刻之一。
作為蘇聯紅軍的最高統帥，他知道自己犯了一個災難性的大錯誤，因此他粗聲地罵道：“希特勒這個大流氓！”但他沒有時間在這個問題上自省。
他要正視這場空前浩劫已經來臨的現實，以其過人的智力和無上權威，率領蘇聯軍民奮起戰鬥，回擊希特勒這個混世魔王的挑戰，捍衛民族的尊嚴和社會主義蘇聯取得的建設成果。政治局委員們迅速作了分工，決定在斯大林的領導下開始衛國戰爭。
6月30日，成立了斯大林為首的國防委員會。
7月3日，斯大林向全國發表了廣播講話。他呼喚人民的民族自尊心和保衛祖國的頑強的決心，給了人民以期待的信念。這番講話在蘇聯人中，特別是在海陸空軍將士中間，產生了巨大的影響。
從斯大林的講話中，人們聽到了“一切為了前線！一切為了勝利！”的號召，全體蘇聯人民團結在一起，開始同德軍進行殊死搏鬥。
德軍團有充分準備，又是突然襲擊，因此來勢凶猛。法西斯航空兵對蘇聯西部城市、交通樞紐以及軍營狂轟濫炸，使蘇軍遭受到重大損失，防線迅速被突破。戰爭第一天，德軍就推進了約60千米。斯大林鎮定地應付這一局麵，手裏拿著煙鬥，整日默默地在辦公室踱來踱去，認真地觀察地圖，不時發出一道道發動反擊的命令。
他按照列寧在內戰時的做法，不斷派自己信賴的得力代表到關鍵地區去。對最高統帥來說，這不僅是為了同前線保持直接的聯係，幫助那些經驗不足的指揮員，同時也是為了顯示他的存在，說明在危難的時刻，他和他們戰鬥在一起。
在3個星期中，德中央集團軍群向前推進了450千米至600千米，北方集團軍群推進了450千米至500千米，南方集團軍群推進300千米至500千米。7月16日，德軍中路的坦克部隊已占領了斯摩棱斯克，直接威脅莫斯科。在七八月間，北路已占領了列寧格勒州的大部分地區。9月19日，德軍南路已攻陷烏克蘭首府基輔。據西方史學家記載，在被希特勒稱之為當時“世界上史無前例的最大戰役”——基輔戰役中，蘇軍有4個集團軍被圍殲，65.5萬名指戰員被俘虜。