20世紀30年代末，規模空前的第二次世界大戰爆發了。它迎來了衝鋒槍發展的黃金時代，並逐步形成了第二代衝鋒槍。
二戰之初，衝鋒槍登台亮相，成為參戰各國的搶手貨。很多國家的兵工廠大量生產，軍隊普遍裝備。德國於1938年正式列裝的9毫米MP38衝鋒槍最先顯示出它的優越性，並與後來改進的MP40衝鋒槍一起成為二次大戰期間使用最廣泛、性能最優良的衝鋒槍之一，也是德國納粹的“衝鋒隊”和“黨衛軍”形象的主要標誌。從MP40開始，衝鋒槍生產采用先進的衝壓工藝和注模塑料件，加工簡單，適合大批量生產，僅MP40的生產數量就達到100多萬支。
前蘇聯是二次大戰中生產和使用衝鋒槍的另一個大國。從1941年起，前蘇聯便迅速生產了PPD34/38和PPD40衝鋒槍，並大量裝備部隊。之後，又迅速推出了波波莎PPsh41和波波斯PPS42衝鋒槍。PPsh41於1941年正式裝備蘇軍，到40年代末，共生產了500多萬支，是二次大戰期間蘇軍使用數量最多的一種衝鋒槍。值得一提的是PPS42衝鋒槍，它是在德軍兵臨列寧格勒城下極端困難的情況下進行研製和生產的。經過實戰檢驗後又做了改進，變為PPS43。
當時蘇軍的每一個步兵連都有一個衝鋒槍排，特種兵也大都裝備衝鋒槍。在戰場上，蘇軍還創造了一個任何國家的軍隊都不曾嚐試過的戰術——全部裝備衝鋒槍的部隊以人海戰術蜂湧衝向德軍陣地而不計傷亡。他們勇猛無比，搭乘在坦克頂部和側麵，一手抓炮塔的把手，一手緊握衝鋒槍。當遇到敵人時，他們便跳下車投入戰鬥，完成任務後又像燕子般飛身登上行駛的坦克。
有趣的是，英國軍方對衝鋒槍的戰術作用反應一直很遲鈍。直到1940年法國淪陷後，英國麵臨著德國法西斯大舉進攻的危險時才如夢初醒。鑒於情況危急，丘吉爾首相要求軍方迅速研製出一種衝鋒槍。英國恩菲爾德兵工廠在很短時間內便完成了衝鋒槍的設計，並於1941年初拿出樣槍，命名為9毫米司登衝鋒槍。隨後，英國便倉促生產，並開始大量裝備部隊。雖然司登衝鋒槍給人的印象是“麵目寒酸，加工粗糙”，但它也有其自身的特點：彈匣安裝在槍的左側方，便於臥倒射擊；生產簡單，造價低廉，經濟性好；工作可靠，射擊準確。美國在對司登衝鋒槍進行了專門的試驗後，給予了高度評價，並借鑒司登衝鋒槍的優點，生產了M3和M3A1式衝鋒槍，以取代笨重昂貴的湯普森衝鋒槍，但此時已到了大戰的末期。在二戰中，英國的司登衝鋒槍和美國的M3/M3A1衝鋒槍分別生產了375萬支和65萬支。
在第二次世界大戰中發展起來的第二代衝鋒槍，其著眼點是力求克服第一代衝鋒槍的缺點，著重簡化結構和降低成本，提高作戰使用性能。其主要表現在：結構簡單，普遍采用衝壓和焊鉚結合的加工方法，大幅度降低成本；武器的安全性有所改善，普遍設有專門的保險機構；普遍采用大容彈量、裝填迅速的直形彈匣；推廣采用折疊式或伸縮式槍托，大大方便了武器的攜行；除前蘇聯和美國外，絕大多數國家均采用9毫米派拉貝魯姆手槍彈作為衝鋒槍製式槍彈。
二戰結束後，衝鋒槍進入了一個比較穩定的發展時期。各國普遍注重衝鋒槍的研究與發展，不斷探索和研究新結構、新原理、新材料和新工藝，使衝鋒槍的發展呈現出百花齊放的景象。到60年代末，基本上形成了具有時代特色的第三代衝鋒槍。