但據《明史》記載：“大抵真倭十之三，從者十之七。”“真倭”是貨真價實的日本人，“從者”則是沿海地區三教九流的中國人。事實上，“倭寇”首領清一色是進行走私貿易的中國海上冒險家。
嘉靖十九年（1540年），年輕氣盛的汪直與同伴遠赴廣東高州打造大船，滿載明朝政府嚴禁出海的硝磺、絲綿等物，銷往日本、暹羅（今泰國）諸國，五六年間便積聚巨額資本，在各國商人中聲名鵲起，號稱“五峰船主”。據說為避免自己的“違法”生意連累老家汪姓族人，他改名為王直。
1544年，王直加入歙縣同鄉許棟的海商集團，擔任要職，後許棟遭官軍圍剿敗亡，他另起爐灶，自立為“靖海王”，在浙江舟山定海關主持開市貿易，並向朝廷提出開放海禁的要求。據記載，王直曾言：倭國缺絲綿，必須開市，海患乃平。由此或可見其海商本色。
但朝廷派名將俞大猷帶兵前來圍攻，王直隻好將活動基地遷往日本平戶（今屬日本長崎縣），掛起“徽王”旗號，部下中國人至少有三千左右，公開與明王朝對抗。
繼傅衣淩、藤井宏之後致力於徽商當代研究的廣東學者葉顯恩，視王直為徽州武裝海商集團的代表，他認為當時留下的大量曆史資料，撰寫者大多站在正統的“防倭禁海”立場上，所以才著重描述海商破壞性的一麵，以及官府剿撫的經過。
他指出，遺留下來的文獻記載中已透露出，16世紀中葉以後，東亞海域貿易格局發生重大變化，海上走私活動轉移到杭州灣外的舟山群島，以雙嶼港、烈港等為中心，徽州位於皖南，與浙、贛兩省為鄰，由新安江水路可直通杭州灣，成為內地連接外洋之紐帶，加上正在崛起的徽商，商業觸覺敏銳，麵對外部世界興起的海洋熱、香料熱、黃金熱，自然不可能置身於事外。
他又引述上海師範大學學者唐力行的觀點，指徽州海商不局限於海盜式的走私貿易，可分為三個層次，即往來販運於海上者為核心，陸上的行商為中介，江南市鎮的徽州坐賈及當地手工業作坊主為外圍。
一頭是徽商在中國內地建立的以血緣和地緣相結合的龐大商業網絡，一頭是僑居海外各地（日本及東南亞為主）的華人，徽州海商正是通過結織這一網絡，謀求超常規地增殖資本，在明嘉靖後期，掀起早期近代中國海洋貿易的第一波。
但徽州海商“亦商亦盜”的激烈行事方式，畢竟給沿海地區經濟社會帶來很大衝擊和破壞。對此葉顯恩解釋說，從世界範圍看，在古代，海上貿易是與海盜、走私、掠奪和奴隸販賣聯係在一起的，到16世紀，歐洲人對海盜和合法貿易也沒有嚴格區分，直到18世紀，歐洲理論界才開始從國際法角度探討“海盜”與“合法貿易”之間的區別。
葉顯恩感歎，以王直為代表的徽州海商，敢於加入剛剛勃興的世界性“向海洋挑戰”的行列，意識可謂超前，但正因如此，自不能見容於當時的社會，更不能為當道者所容許。
史料記載，嘉靖年間出任兵部侍郎兼直浙總督的胡宗憲（徽州績溪人），主持平倭大局，他設計以徽州同鄉之誼誘捕王直，除去“倭寇”魁首，功勳卓著。但葉顯恩認為，傳留至今的關於王、胡二人之間糾葛的文獻記載，隻能看作是正統話語權的表達，是權力支配者寫下的曆史，無從發言的一介平民王直，隻能任由國家權力精英和禦用知識精英，當作一個政治犯來判決。
官商受“官傷”
王直死後，胡宗憲及其一手提拔的部屬戚繼光、俞大猷繼續大力征剿，不數年，浙江沿海“倭患”漸平。
盡管後來隆慶年間（1567年—1572年）朝廷決定“開海”，海上貿易得到一定恢複，但徽州海商已群龍無首，閩商取而代之成為舞台上的主角，這才有明末鄭芝龍、鄭成功父子麾下的福建海商集團據守東南一隅，進而收複台灣、抗拒清廷的一段傳奇。
明末清初，戰亂頻仍，徽商慘遭浩劫，生意一度跌入低穀。直到康雍乾盛世（1681年—1796年）的百餘年間，社會穩定，經濟發展，人口增加，清廷又實施保護鹽商世襲壟斷經營的“綱鹽法”，早在明嘉靖、萬曆年間已雄踞鹽業的徽州富商大賈，紛紛卷土重來，湧入揚州，再度把持鹽利。當時兩淮鹽業八位總商（相當於鹽業公會首領）中，來自徽州歙縣者“恒占其四”。看到這些“富至千萬”的大鹽商時，據說連南巡揚州的乾隆皇帝也驚呼：富哉商乎，朕不及也！