1848年那年，法國、德國(包括奧地利、普魯士等許多諸侯國)、意大利、匈牙利等許多歐洲國家，都爆發了聲勢浩大的革命鬥爭。由於當時反動勢力比較強大，革命起義都遭到血腥鎮壓，工人運動進入低潮。馬克思、恩格斯移居倫敦，他們相信新的革命高潮會很快到來，並著手恢複、整頓共產主義同盟。1849年9月，同盟中央委員會在倫敦重新成立。1852年，普魯士政府逮捕共產主義者同盟科隆中央委員，許多人被判了刑。從此，僑居英國的馬克思、恩格斯，與國內的聯係中斷。共產主義者同盟自動解散。於是，馬克思他們正在醞釀成立新的國際工人組織。
1864年9月28日，倫敦聖馬丁堂熱鬧非凡。大廳裏掛滿了許多國家的國旗。來自英國、法國、德國、意大利、波蘭等國的工人代表，聚集一堂，舉行支持波蘭人民反對俄國沙皇統治的盛大集會。
英國工人代表首先宣讀《呼籲書》，他說：“為了工人大眾的事業，各國人民必須團結一致。”法國工人代表接著發表了熱情洋溢的答辭，他說：“我們要團結起來拯救自己！”坐在主席台上的德國代表馬克思，聽了他們的講話，含笑點頭，熱烈鼓掌，似乎在說：這是創立國際的起點。
這次英國工人聯係法國工人支援波蘭人民的鬥爭，正是國際工人運動新發展的重要標誌，也是建立新的國際工人組織的良機。
根據各國工人代表的一致要求，大會決定成立“國際工人協會”(後簡稱“第一國際”)，並且選舉了領導機構——中央委員會(後改稱“總委員會”)。馬克思當選為總委員會委員，並擔任德國通訊書記。大會結束以後，由第一國際總委員會領導起草綱領和章程。
這時馬克思病了，沒能繼續出席會議。這時，會議遇到了困難，英國代表起草的綱領，隻說要為改善工人的經濟地位而鬥爭；意大利代表則想把意大利工人協會的章程作為第一國際的章程，甚至提出什麼要成立一個以意大利人為首的“歐洲工人階級中央政府”。他們都不提無產階級奪取政權這一革命的根本問題。所以，總委員會討論不下去了。德國代表看到問題這樣複雜，馬上寫信給馬克思，要他來參加會議。10月18日，馬克思抱病出席了總委員會。經過長時間的激烈爭論，於20日決定由馬克思負責修改文件。馬克思不顧疾病的折磨，日夜不停地工作，終於在七天左右的時間內，寫出了第一國際的《成立宣言》和《共同章程》兩個文件，於11月1日的總委員會會議上得到一致通過。這表明，國際工人運動初步接受了馬克思主義。馬克思從一開始就是第一國際的靈魂，是公認的領袖。
馬克思在《宣言》中明確寫道：“奪取政權已成為工人階級的偉大使命。”無產階級隻有組織起來，才能戰勝貌似強大的資產階級。”《成立宣言》解剖了當時最先進的資本主義的英國，生產力的發展不可避免地要加深社會對立和對抗。《共同章程》還規定各國工人階級要建立統一的全國性組織。
從此，國際工人階級走上了正確的鬥爭軌道，兩年中，歐美各國建起20多個國，在第一國際的有力支持下，1866年英國裁縫工人大罷工，1867年巴黎青銅工人大罷工，1868年日內瓦建築工人大罷工，都取得了重大勝利。
馬克思的卓越貢獻使他享有崇高的威望。馬克思、恩格斯的科學社會主義理論，是在同形形色色機會主義思想鬥爭中發展起來的。首先，是同蒲魯東主義進行鬥爭。蒲魯東是近代無政府主義的創始者，法國人。他主張個人絕對自由，不要國家，不要政黨。在法國、西班牙、意大利都有他的信徒。1864年秋，他混入第一國際，第二年1月就死了。可是他的信徒，卻在第一國際裏有一定的勢力。