第二次世界大戰期間，在經過了勝利希望渺茫的開始階段後，斯大林逐漸成為交戰國中所產生的最為成功的最高領導人。
1939年8月，斯大林試圖與西方強國結成反希特勒同盟，但沒有成功。隨後，他同希特勒簽訂條約，這項條約慫勇這個德國法西斯獨裁者進攻波蘭，於是第二次世界大戰爆發了。
“斯大林-3”重型坦克
為對付德國“虎王”而研製，被西方稱為“擁有戰列艦級裝甲的坦克。”
但是，斯大林的德國盟友背信棄義，仍忙於東線戰事。斯大林不得不加強其西部邊境防務，德國吞並了波蘭東部、愛沙尼亞、拉脫維亞、立陶宛和羅馬尼亞的一些地區後又進攻芬蘭，強行租借芬蘭領土。1941年5月，鑒於德國進攻蘇聯日益增長的危險性，斯大林任命自己為人民委員會主席（政府首腦），這是自1923年以來他所擔任的第一個政府職務。
1941年6月22日，希特勒向蘇聯
母親送兒子上前線
蘇聯人民在二戰中作出了巨大的犧牲。
斯大林格勒保衛戰
發動突然襲擊，德國的閃電戰突破了蘇聯的國防線，暴露了斯大林戰前國防措施的軟弱無力。而後德軍深入蘇聯腹地。赫魯曉夫後來回憶說，斯大林當時被這場猛烈的進攻震驚得不知所措。但即使如此，斯大林仍很快重新振作起來，任命自己為最高統帥。當德軍於1941年冬逼近莫斯科時，斯大林留在危急中的首都，督促組織大規模反攻。在斯大林的英明指揮下，1942年冬，蘇軍在斯大林格勒戰役中獲勝，並於1943年夏在庫爾斯克戰役中大敗德軍。德軍開始撤退，蘇軍轉入反攻，迫使德國在1945年5月投降。
作為戰時統帥，斯大林始終對各條戰線、軍隊後勤和戰時經濟實施他個人的嚴密控製。像希特勒一樣，這位蘇聯大元帥起初多通過電話下達不適當的命令，後來才漸漸學會通過作出軍事決定的辦法來進行。但即使如此，斯大林仍不失為一名傑出的軍事統帥，並在二戰中發揮了重要的作用，連他的敵人希特勒都認為他是一個“了不起的人”。