五四運動後，早期共產主義者為在中國建立共產黨開展了大量工作。從1920年8月以後，全國一些地方陸續建立了共產主義小組。
中國共產黨第一次代表大會會址
共產主義小組首先是在上海建立的。1920年8月，在共產國際代表的幫助下，在上海成立了中國第一個共產主義小組，陳獨秀為書記。上海共產主義小組成立後，擔負著發起、籌備和組織中國共產黨的任務。
1920年10月，北京共產主義小組成立，北京小組成為北方革命運動的核心。
1920年9、10月間，湖北共產主義小組成立。
1920年12月，山東共產主義小組成立。
1920年冬，湖南共產主義小組成立。
1921年1月，廣東共產主義小組成立。
此外，在日本東京和法國巴黎的中國留學生和僑民中也建立了共產主義小組。曾經參與發起上海小組活動的施存統，赴日留學後，1920年冬同周佛海在東京建立了共產主義小組。1920年秋，北京小組的成員張申府赴法國巴黎，先後發展了劉清揚、周恩來、趙世炎等，於1921年春組成了巴黎共產主義小組。
各地共產主義小組成立後，為中國共產黨的成立在思想上和組織上準備了條件。
各地共產主義小組成立後，迫切需要建立一個全國性的統一的黨的組織來領導中國革命。在共產國際的幫助和各地共產主義小組的努力下，中國共產黨第一次全國代表大會於1921年7月23日至31日在上海租界貝勒路樹德裏（即望誌路一○八號）舉行（大會在最後一天移至浙江嘉興南湖舉行）。出席大會的代表是：上海小組的李達、李漢俊，北京小組的張國燾、劉仁靜，湖南小組的毛澤東、何叔衡，湖北小組的董必武、陳潭秋；山東小組的王燼美、鄧恩銘；廣東小組的陳公博；東京小組的周佛海。此外，陳獨秀還指定包惠僧參加了大會。他們代表全國50多名黨員。共產國際的代表馬林和赤色職工國際的代表厄科爾斯基也出席了大會。大會由張國燾任主席。其議程是：聽取各地共產主義小組的活動情況報告，起草並討論黨綱和工作計劃，選舉黨的中央領導機構。大會的中心任務是討論成立中國共產黨。
大會首先聽取了共產國際代表的報告和各地共產主義小組工作的彙報。然後，選出了一個起草黨綱和工作計劃的委員會。經過討論，通過了《中國共產黨的第一個綱領》。綱領把黨的名稱定為中國共產黨，規定黨的奮鬥目標是以無產階級革命軍隊推翻資產階級，建立無產階級專政，廢除私有製，直至消滅階級差別。黨綱還對黨的各級領導機構的組成形式、職權和相互關係作了規定，並確定了黨的組織原則是民主集中製。
大會通過的《關於當前實際工作的決議》確定：黨在當前的中心任務是組織工人階級，加強黨對工人運動的領導，推動工人運動的發展。還對一些具體工作作了部署。
最後，大會選舉陳獨秀（任中央書記）、張國燾（任組織委員）、李達（任宣傳委員），三人組成黨的中央領導機構——中央局。
黨的第一次全國代表大會具有偉大的曆史意義。她正式宣告了偉大的中國共產黨的誕生，這是我國近代曆史上開天辟地的大事，它標誌著中國無產階級認識到自己所肩負的偉大曆史使命，它給災難深重的中國人民帶來了光明和希望，中國工人階級從此有了自己的司令部——一個用馬列主義武裝起來的、以列寧的建黨原則為指導的、以布爾什維克黨為榜樣建立起來的統一的無產階級政黨，使中國革命事業有了勝利的可靠保障。“自從有了中國共產黨，中國革命的麵目就煥然一新了。”從此，中國人民不僅可以勝利地進行反帝反封建的鬥爭，而且使中國人民爭取社會主義革命和建設的光明前程有了勝利保障。