中國民兵有著光輝的曆史，在長期革命戰爭中，毛澤東根據中國特點，把馬克思主義關於人民群眾是曆史創造者的基本原理，具體運用於中國革命戰爭的實踐，形成人民戰爭思想，創建了人民軍隊，建立了民兵組織，依靠廣大人民群眾，開展了轟轟烈烈的武裝鬥爭。
中國民兵是毛澤東人民戰爭思想的產物，是一支新型的人民群眾武裝組織，是人民軍隊的得力助手和強大的後備力量，在中國革命的各個曆史時期均發揮了巨大作用。中華人民共和國建立後，民兵成為國家武裝力量的組成部分，在保衛和建設社會主義的事業中，作出了新的貢獻。
中國共產黨1921年誕生後，在領導和開展工農運動中，就注意建立工農武裝。1922年1月，在香港海員大罷工中產生了工人糾察隊。1924年8月，在廣東省廣寧縣的農民運動中，誕生了農民自衛軍。
北伐戰爭時期
工人糾察隊和農民自衛軍有很大的發展。1925年1月，中國共產黨第四次全國代表大會通過的《對於農民運動的決議案》，提出把組織農民協會，發展農民自衛軍作為黨的一項重要任務。彭湃、毛澤東、周恩來等共產黨人，先後在廣州、武漢舉辦農民運動講習所，為開展農民運動和建立農民自衛軍，培養了大批骨幹。
在此期間，中國南方，特別是廣東、湖南、湖北、江西等省農民自衛軍的發展，迅猛異常，聲勢浩大。工人糾察隊和農民自衛軍的興起和發展，沉重地打擊了帝國主義和封建軍閥勢力，有力地支援了北伐戰爭。
特別是1927年3月，為配合國民革命軍北伐，在周恩來等共產黨人領導下，以上海工人糾察隊為骨幹，舉行了上海工人第三次武裝起義並一度解放全上海，這是中國工人階級第一次依靠自己的力量，以革命暴力推翻反動統治，建立人民政權的嚐試。
土地革命戰爭時期
中國共產黨把組織群眾、武裝群眾、建立人民武裝，作為創建、鞏固和發展革命根據地的根本。大革命失敗後，毛澤東率領秋收起義的工農武裝進軍井岡山，在建設紅軍的同時，廣泛發展暴動隊、赤衛隊、少年先鋒隊等群眾武裝組織。毛澤東一再強調，革命戰爭是群眾的戰爭，隻有動員群眾才能進行戰爭，隻有依靠群眾才能進行戰爭。
在1929年著名的古田會議上，毛澤東指出紅軍除了打仗消滅敵人外，還要擔負宣傳群眾、組織群眾、武裝群眾的任務。1931年11月，在江西瑞金舉行的全國工農代表大會上通過和頒發的《蘇維埃的武裝政策》，進一步強調“武裝工農是蘇維埃的基本任務之一”。
隨後，中華蘇維埃共和國臨時中央政府，陸續頒布了《赤衛軍組織法》和《蘇區少先隊組織條例》，將各個蘇區的群眾武裝統一為赤衛軍和少先隊，規定赤衛軍由23~40歲的青壯年組成，少先隊由18~23歲的青少年組成，並規定在赤衛軍、少先隊之中，挑選部分強壯勇敢分子，組成模範營，作為保衛蘇區和參加紅軍的基本隊伍。各蘇區的赤衛軍和少先隊，人數最多時達250萬，是當時主力紅軍的6倍，他們站崗放哨、傳遞情報、護理傷員，廣泛開展遊擊戰爭，積極配合紅軍作戰，為粉碎敵人的“圍剿”，保衛和擴大紅色革命根據地，發揮了重大作用。
赤衛軍、少先隊也是紅軍取之不竭的強大後備力量，各蘇區堅持實行“經由鄉赤衛隊、區赤衛大隊、縣赤衛總隊、地方紅軍直至正規紅軍”逐步升級的辦法，使紅軍獲得了源源不斷的補充，許多地方的赤衛隊、少先隊，常常是整連、整營、整團，乃至整師地參加紅軍，如江西興國縣組織起來的工人師、模範師和少共國際師就在1933年先後集體參加了紅軍，全縣38萬人中，參加紅軍的達8萬多人。