王亞樵當然不會放過他，遂聯絡同黨，意欲驅張。1920年，亞樵偕闞培林來到合肥，與許習庸等人取得聯係，相約到安慶組織“安徽民權協進會”。“協進會”成立後，王亞樵等人宣傳孫中山的主張，提倡民權革命，鼓吹民有、民治、民享。數月之間，有二萬餘人加入，其中主要為碼頭工人，也有少數商人、學生、市民。王亞樵此時估計時機成熟，遂率民權協進會員上街示威遊行，聲討張文生橫征暴斂，殘害皖人。通電全國，聲明要趕走貪官汙吏張文生，實現皖人治皖。這下惹火了張文生，但王亞樵是以孫中山的民治、民有、民享的民權理論為號召的，張文生奈何不得，頓生歹心。他密令副官派衛士去暗殺王亞樵。誰知，這個副官敬佩王亞樵，不願暗殺好漢，反把張文生的陰謀透露給王亞樵。安徽呆不下去了，王亞樵隻得單身離皖，再奔上海。
這件事對王亞樵刺激很大，他決心以其人之道還治其人之身，用暗殺手段回敬政敵、貪官。從此，王亞樵走上了以暗殺行刺為手段的鬥爭道路。
第一個被王亞樵刺殺的是淞滬警察廳廳長徐國梁。
上海自晚清辟為通商口岸後，很快就成為燈紅酒綠的花花世界。這裏是冒險家的樂園、有錢人的天堂、窮人的地獄。它是帝國主義插手中國政治，進行陰謀活動的據點；也是流氓、地痞、幫派互相爭奪、殘殺的舞台；更是各派軍閥爭奪的市場。民國十年左右，從印度運進上海的鴉片，據說關稅一項足夠養活3個師！哪派軍閥不想得到這塊“風水寶地”？直係軍閥江蘇都軍齊燮元瞅準機會，派其心腹徐國梁到上海擔任淞滬警察廳廳長。徐國梁是個弄錢的好手，在很短的時間內，撈到上百萬，除了孝敬齊燮元外，其餘都落進了自己的腰包。他經常露骨地向淞滬工商界進行敲詐勒索，民憤極大。浙江督軍盧永祥窺覦這塊地盤上的油水，派他的親妹婿何豐林來上海任護軍使兼淞滬保安司令，駐軍上海，與齊燮元、徐國梁展開爭奪。
1922年春，孫中山為了加強反對直係軍閥的力量，積極與皖係、奉係代表聯絡，結成“反直三角同盟”，即兩廣的孫中山、長江方麵的段祺瑞皖係和東三省的張作霖奉係，共同對付掌握中央政權的直係軍閥。王亞樵受柏文蔚之托，回上海組織反直活動。王亞樵到滬後，通過李鴻章的族孫李國風結識了民國四大公子之一的盧永祥的兒子盧小嘉，三人義結金蘭。王亞樵的目的是欲借鼎永祥的軍事力量反直，而盧永祥則想借王亞樵的“斧頭幫”幹掉徐國梁，奪取淞滬警察廳。再則，盧永祥與孫中山有“反直三角”盟約在先。所以，兩人一拍即合。盧永祥答應，如除掉徐國梁，他劃浙江湖州一地給王亞樵，槍400支，並委以“浙江縱隊司令”之任。當場先給王亞樵活動經費2萬元。“一個月內幹掉徐國梁！”王亞樵幹脆利落地作出保證。
說起來容易，真想行動想來就不那麼得手，弄不好還要搭上自己的命。
徐國梁手下有七千多名警察，平時出門，總是前呼後擁，戒備森嚴，很難靠近他。王亞樵幾次意欲下手，均未能如願，倘若不能達到目的，反而會打草驚蛇。正在一籌莫展之時，1923年11月12日這一天，王亞樵得到報告，徐國梁乘車到大世界遊樂場對門的溫泉浴室洗澡。王亞樵立即派得力助手鄭益庵率領一幫兄弟趕到現場，埋伏在溫泉浴室四周。
徐國梁泡在單人浴盆裏，舒舒服服。這位上海灘上的顯赫人物，哪裏知道死神正在向他招手。洗完澡，他輕鬆地步出浴室，到了門口，兩眼左右一掃，是自己十餘名警衛荷槍實彈，沒有異常，便放心地向車子走去，剛要登車，猛然間他覺得被什麼東西推了兩下，在“砰、砰”兩聲槍響中，徐國梁晃了晃就一頭栽倒在地，什麼也不知道了。
王亞樵首次暗殺成功，走以上任到湖州任他的浙江縱隊司令，一時好不威風。戴笠、胡宗南這時都在他手下當中隊長，戴笠對王亞樵執師禮甚恭。不過，好景不長，江浙一帶以徐國梁被殺為導火索，江蘇、安徽、江西、福建四省攻浙，盧永祥戰敗，王亞樵退居廣州。不久適逢黃埔軍校招生，經王亞樵推薦，戴笠成為黃埔軍校第六期生。王亞樵後來堅決反蔣，與華克之有一定關係，也是蔣介石把他逼上梁山的。
北伐戰爭時，由胡漢民、柏文蔚推薦，王亞樵被委為安徽副宣慰使。1927年3月，上海工人在周恩來等人領導下發動第三次武裝起義，激戰五小時，解放上海。王亞樵隨國民革命軍由浙江進入上海。在上海，本來就有他一幫勢力，他到上海後，這批人馬就與他接上頭，一時間，他在上海工人中幾乎是一呼百應。一個月後，蔣介石叛變革命，“四·一二”上海大屠殺，王亞樵手下也有人被殺，這使他非常不滿。但他本人卻成為蔣介石拉攏的對象。蔣認為王亞樵是一條好漢，論忠義慷慨，黃金榮、杜月笙都不如他。另一個更重要的原因，就是他在上海工人中有威望，手握一股叱吒風雲的勢力。華克之的摯友、中共地下黨員、安徽大學畢業生陳惘子曾說到過這一點。陳惘子說：“王亞樵在上海工人中很有號召力，振臂一呼，就會有成千上萬的人跟著跑。”陳惘子專門向華克之提出要求，介紹他與王亞樵認識。後來，王亞樵與華克之共同為地下黨做了許多於革命有利的事。例如1931年，王亞樵為地下黨一次就籌集7500銀元辦了個“公道印刷廠”，隨後又籌集2500元作為印刷廠的開辦費。該廠當時負責印刷黨的刊物《紅旗》和黨中央批發的有關文件。1932年，陳惘子通過華克之向王亞樵籌集2000元，辦了個“春申書店”，安置文化界的地下黨人員。王亞樵有好幾個法律顧問，一些地下黨員被捕時，這些律師根據王亞樵的暗示為他們辯護。所以，1936年，王亞樵派人去延安聯絡是有思想基礎的。