清光緒年間，許多有識之士看到清政府故步自封閉關自守造成中國貧窮落後的現狀，深深感到掌握更大本領救國救民的責無旁貸責任重大，寄希望於學習國外的先進思想、科技知識和改革經驗，紛紛要求到國外去學習。清政府迫於各界的呼聲壓力，不得不表麵上做出開放姿態來應付，派遣一些官員和學生出國去考察和留學。當時，日本被中國人看作向西方學習改革維新的樣板，許多青年學生都把日本作為留學的首選地。周樹人從礦路學堂畢業後便提出了赴日本留學的申請。江南督練公所審查後，決定派遣礦路學堂前五名畢業生作為公派官費留學生赴日本留學。前五名包括周樹人（字豫才）、張協和（名邦華）、伍仲文（名崇學）、芮石臣（原名芮體乾）及另外一人，後者因為祖母哭得死去活來的不讓他走，所以隻好放棄了去日本留學的機會。
清光緒二十八年二月（1902年月3月24日），周樹人和三位同學一起由江南督練公所派赴日本留學，登上了日本“大貞號”輪船。經過十天的海上旅行，周樹人和三位同學到達日本的橫濱，然後乘車來到日本的首都東京，進入東京弘文學院。
周樹人和他的同學被江南督練公所派往日本留學的目的當然是繼續學開礦的，但官場辦事前後不銜接，學生出國後就全不管了。周樹人他們原打算進成城學校，但那個學校是日本陸軍士官的預備學校，隻有陸軍學堂的畢業生才準許進入那所學校。周樹人他們雖然來自陸師學堂，但他們是礦路學堂畢業的，日本政府不準許他們進入成城學校，因此他們隻好改入東京弘文學院。這樣，周樹人便被安排在弘文學院的普通班的江南班裏學習。學製是兩年。
周樹人以極大的熱情投入到學習之中。那時候中國還是科舉時代，出國留學的人員中多數是秀才，他們能做出上好的八股文和策論文章，但對於西學卻全然不知，還得從頭學起。周樹人他們雖然在礦路學堂學過，但仍然要跟班聽那些已經學過的功課。不過，他在礦路學堂已經學過數理化等自然科學知識，現在不必再花太多時間在這些課程上麵了。於是，他便把較多的精力用在學習日語上。
這年初秋，浙江紹興的許壽裳（字季茀，季黻，季市，號上遂）作為浙江官費留學生被派到日本東京留學，進入弘文學院預備日語班，班裏有十餘名學生，稱為浙江班。這個浙江班和周樹人所在的江南班的自修室和寢室相毗鄰，不久，許壽裳和周樹人便熟視並成為好朋友了。於是，周樹人便經常找許壽裳討論一些問題：怎樣才是最理想的人性？中國國民性中最缺乏的是什麼？它的病根何在？等等。
時值清光緒年間，中國人都留著一條長長的辮子拖在身後邊。一般留學生覺得留學時間畢竟不長，如果剪掉了辮子梳了短發，到要回國的時候，頭發一時留不起來，沒有辮子怎麼回國？所以，大多數留學生仍然留著長辮子，他們把辮子盤起來，用頭上的製帽扣住。特別是速成班的，他們留學時間更短，便像道士似的把辮子在頭頂上梳成一個髻鬏，弄得帽頂上突出來個“頂塔”的怪樣子，於是，大家便給它起了個諢名叫做“富士山”。有的人還從帽沿下拖下好些發縷來，樣子更是古怪而難看得要命。這些留學生走在大街上，製帽頂上高聳著“富士山”，口裏說著怪聲怪氣的日本話，日本人都以一種異樣的目光看著，而日本的年輕人則公然譏笑他們，小孩子們則叫他們“鏘鏘波子”。起初，周樹人也是有發辮的，不過把頭上的“頂塔”留得很小，不多的發辮盤在帽子裏不露出什麼痕跡。後來，看見了這些“富士山”受到日本人的譏笑著實很生氣，加之他自從庚子以後形成的民族革命思想的作用，對於辮子已是深惡痛絕，於是，1903年2月，他不顧弘文學院的清政府監督的警告，毅然決然地把辮子剪掉了。