示威遊行的消息使遠在國外的列寧感到異常高興。《火星報》評論說：“4月22日，星期日，在第比利斯發生的事件，對於整個高加索具有重要的意義——這一天標誌著高加索公開革命運動的開始。”
1901年11月11日，第比利斯社會民主黨召開代表大會。斯大林當選為這個委員會的委員，並派他到巴統去建立黨組織。
巴統位於黑海沿岸，是個有兩三萬人的城鎮。這裏交通便利，是俄國的一個工業中心。
斯大林到巴統後組織發動工人，並辦了一個秘密印刷所。印刷所就設在他的住所。鉛字都放在火柴和香煙盒裏，斯大林坐在桌子旁寫傳單，然後就交給排字工人，各種傳單和宣言書很快就從這個印刷所散發到工人手中。也就是從這個時候開始，他用柯巴作為化名，並且一直用了很長時間。
在斯大林的宣傳、鼓動下，巴統的工人開始罷工，上街遊行。
警察千方百計想找到秘密印刷所，為了躲避偵查，斯大林把印刷機轉移到巴統郊區一個阿布哈茲人村莊。為了保密，到這裏來領傳單的工人都穿上高加索婦女的服裝，戴著麵紗。左鄰右舍起初懷疑印刷機在印鈔票，因此要求分一份。斯大林費了好大勁才向他們解釋明白是怎麼回事，並得到當地村民的幫助。
1902年4月5日，星期五晚上。斯大林和幾個同誌在一個朋友家聚會、聯歡。聯歡會正在進行中，有人猛然發覺，巴統警衛隊不僅包圍了這座房子，而且在地下室裏安了密探。斯大林抽著香煙，正與一位朋友談話。他沒動聲色隻平靜地說：“沒事兒。”繼續抽他的煙。過了不久，警察闖進屋裏，逮捕了屋裏所有的人，包括斯大林。
這是斯大林在他的職業革命生涯中第一次被捕。幾經流轉，1年多後他被判處3年流放。流放地是在西伯利亞伊爾庫茨克省的新烏拉村。經過4個月押送，才到達目的地。但他很快就從流放地逃跑，1904年1月斯大林又偷偷地回到第比利斯。那時他已經24歲了，正是婚愛的年齡。
他在第比利斯的秘密接頭點遇見了亞曆山大·斯瓦尼澤，後來介紹他同自己的妹妹相識，她叫葉卡捷琳娜·斯瓦尼澤。
姑娘和斯大林的母親同名，都叫葉卡捷琳娜。斯大林很快地和葉卡捷琳娜結了婚。婚禮是在一所東正教堂秘密舉行的，母親特地從哥裏趕來操辦了這次婚禮。
1907年，他們有了一個男孩，取名為雅可夫。不幸的是孩子生下不滿1歲，年輕的斯瓦尼澤就病故了。
1905年12月斯大林以俄國社會民主工黨的高加索聯盟代表的資格出席了在芬蘭舉行的全俄布爾什維克第一次代表會議。在這次會議上，列寧和斯大林第一次直接會麵了。
1905年的俄國第一次革命失敗後，沙皇製度重又站穩腳跟，工人運動急劇衰落，黨組織遭到嚴重破壞，許多人脫離了黨的隊伍，黨的組織成員大大減少。
就在這種形勢下，斯大林來到巴庫，領導當地的工人繼續鬥爭。他在自己參與編輯的《汽笛報》上發表許多文章，堅持認為石油公司必須同整個產業的代表進行談判。工資製度必須改變，工人需要的不是更多一點的獎金，而是歐洲的工資製度。他和戰友奧爾忠尼啟則、伏羅希洛夫等人一起領導石油工人同雇主進行鬥爭，在工廠主同意與整個產業的代表進行談判之後，他號召5萬巴庫石油工人來選舉他們的代表，當局答應給工人代表以豁免權。
斯大林等人還組織了多次石油工人的罷工，迫使工廠主向工人作出讓步。
巴庫的鬥爭引起了列寧的重視。特別是那些有著積極鬥爭情緒的人使列寧表示十分欽佩。
斯大林在巴庫的名氣越來越大了，反動派對他恨之入骨，派出大量的警察，偵探來尋找跟蹤他。1908年3月25日，斯大林和他的戰友奧爾忠尼啟則同時被捕，囚禁在巴庫的拜洛夫監獄。
拜洛夫監獄原來隻能容納400人，可現在是十月革命前沙皇俄國統治最黑暗的時期，到斯大林被捕時這裏卻關押了1500人。
在獄中，斯大林除了學習世界語，還利用閑散時間讀書，並繼續注意著巴庫石油工人的鬥爭，不斷地為《汽笛報》和《巴庫無產者報》撰寫評論。
在這裏他被關押了7個半月，然後被判處流放沃洛格達省索利維切戈茨克兩年。在押解流放地的途中因患斑疹傷寒，直到1909年底才到達流放地。
不久他從流放地逃了出來，回到首都彼得堡又開始了他新的戰鬥。
從1908年斯大林在巴庫被捕並判處流放，到1912年這段時間，他又先後3次被捕、流放。但他每次都逃了出來，在斯大林的革命生涯中真是多災多難。在1911年的一次服刑中，他在缺席的情況下被選為中央俄國局委員。
1912年底，斯大林再次奉召到克拉科夫參加列寧主持的聯席會議。
經過一番艱辛後，斯大林終於到了克拉科夫，並如期參加了會議。
由於叛徒的告密，斯大林又一次被捕了。