1902年2月20日，魯迅得知獲準留學日本後，當日返回紹興，告訴母親及親人。3月17日回南京。24日，魯迅與伍仲文等5位同學從南京乘大貞丸輪船東渡日本。4月4日抵日本橫濱；7日到達東京，投宿在麹町區（今千代田區）平河町四丁目三橋旅館。
4月下旬，因清朝公使與日本政府所訂“定例”的限製，魯迅所學的不是陸軍而是采礦，未能進入成城學校，而改入東京弘文學院學習。該學院旨在“為清國留學生教授日語及普通教育，以期培養成材”。院址在東京牛込區（今新宿區）西五軒町34番地。魯迅被編入速成普通科江南班，期限二年，後轉入專科學院。院長嘉納治五郎，學監大久保高明，教員有三澤力太郎、山內繁雄等。魯迅後來說，在弘文學院，“三澤力太郎先生教我水是氧氣和氫氣所合成，山內繁雄先生教我貝殼裏的什麼地方其名為‘外套’。”（《在現代中國的孔夫子》）初進弘文學院，魯迅除了用較多的時間學習日語外，必修課程有物理、化學、動物學、植物學、代數、幾何、三角，以及史地、修身和體操。魯迅刻苦學日語，不到兩年時間，就達到能用日文寫文章和書信，能翻譯日文書刊，並說得一口流利的日語的程度。諳熟日文，對於魯迅來說，等於掌握了一把打開世界知識寶庫的鑰匙。他後來涉獵西方哲學理論、文藝作品，以及近代自然科學書籍，所閱讀的多是日文譯本或日本著作。
魯迅還學習了柔道。原來院長嘉納治五郎不僅是教育家，還是個柔道家。他在東京設立了“講道館”，自任館長。有人查閱當年《講道館入門者名簿》，在“牛込分場，明治36年3月10日”一欄中，載有周樹人、許壽裳等留學生的名字。可以想見當年風華正茂的魯迅，在這裏穿上白衣服，精神抖擻地練習日本傳統摔跤的風姿。柔道不屬於弘文的正課，是自願參加的。
但魯迅在思想、政治上對該學院是不滿意的。
入學不久，有一天，學監大久保高明把中國留學生集合起來，說：“因為你們都是孔子之徒，今天到禦茶之水的孔廟裏去行禮罷！”魯迅聽了，大吃一驚，心想：“正因為絕望於孔子和他的之徒，所以到日本來的，然而又是拜麼？”魯迅初時覺得奇怪，後來才知道此學院是尊孔的。
有一回，院長召集中國留學生訓話，說：
振興中國教育，以進入20世紀之文明，固不必待求之孔子之道之外，而別取所謂道德者以為教育，然其活用之方法，則必深明中國舊學而又能參合泰西倫理道德學說者，乃能分別其條理而審定其規律。
難怪學院要規定：“凡逢孔聖誕辰，晚餐予以敬酒。”魯迅對這些祭孔活動是很反感的。
弘文學院招收清廷派遣的留學生，表麵看來是為中國培養人才，“全力扶掖”，實際上是希望維持腐敗無能的清政府統治，因此要求學生“尊重本國的國體和本院的體麵”。
在經濟上，作為私立學院，也千方百計收刮留學生的學雜費。
1903年3月26日，院方拿出一個“十二條”規定，在許多方麵增加收費標準，如暑期仍要付學費，患病超過兩周醫藥費自理等。學生們強烈要求取消這些規定。教務幹事三矢蠻橫地說：“不行就退學，我決不強留。”三矢的話把學生激怒了。自29日始，48名中國留學生集體退出學校，其中有魯迅和許壽裳。他們召集“同窗會”，提出了“撤去荒謬的教務幹事及會計”、“更訂各科課程”等七項要求。嘉納院長終於撤銷三矢的教務幹事職，承認了某些職員“不善之過”，並對教學作了一些改革。持續近20天的學潮，終以中國留學生的勝利和嘉納院長的認錯告終。