李叔同到日本後首先做的事情就是進了一所補習學校學習日語，以保證以後在日本的生活和學習不會遇到障礙。這時，他落腳於東京的神田區今川小路二丁目三番地集賢館。到達日本之後，生活環境的轉變使李叔同的生活方式也完全日本化了。他著和服，早浴，用長火缽，生活極富於江戶趣味。而他日常的裝束也與在上海時有了很大的不同。最突出的變化，便是把腦後拖著的那條“胖辮子”剪掉了，而代之以三七分的西式發型。豐子愷先生在他的《為青年說弘一法師》一文中這樣描寫了當時的李叔同：“我見過他當時的照片：高帽子、硬領、硬袖、燕尾服、史的克（手杖）、尖頭皮鞋，加之長身、高鼻，沒有腳的眼鏡夾在鼻梁上，竟活像一個西洋人。這第二次表示他的特性：凡事認真。學一樣，像一樣。要做留學生，就徹底的做個留學生。”
一九〇五年的九月，這是李叔同剛剛踏上日本國土的時候，由留日學生高天梅主編的《醒獅》的刊物在日本創刊。這份刊物的封麵出自李叔同的手筆。陳星先生在他所撰寫的李叔同的傳記中，特別描述了這份刊物的封麵設計：“此刊封麵左上端橫麵有‘醒獅’二字，中端繪有一隻怒獅，獅身下麵兩側各有一安琪兒。”這份《醒獅》是否是李叔同參與編輯與發行，尚可商榷，但李叔同與這份刊物的出版者確實有著密切的關係。他的多篇詩文都發表在這份刊物上，如前文中所引過的他的《為滬學會撰〈文野婚姻〉既竟係之以詩》四首七言絕句，以及到日本以後撰寫的《圖畫修得法》《水彩畫法說略》等。
陳星先生在他的《芳草碧連天——弘一大師傳》一書中，認為，李叔同的《圖畫修得法》和《水彩畫法說略》“……著述的目的，仍是為中國人的。”“從現在的眼光來看待，這兩篇文章是極為淺顯的，但在當時的中國，或許是開西洋美術理論傳播之先河的。”這樣的看法顯然是很有根據的。
李叔同在《圖畫修得法》中自己就指出，他撰寫此文的目的就是有感於中國源遠流長的繪畫藝術雖然“流派灼著，道乃烈矣”，但“秩序雜遝，教授鮮良法，淺學之士，靡自窺測”。他在文中接著談道：
不佞航海之東，忽忽逾月，耳目所接，輒有異想。冬夜多暇，掇拾日儒柿山、鬆田兩先生之言，間以己意，述為是編。
他在這篇文章中指出：
語言者無形之圖畫，圖畫者無聲之語言。
圖畫者，為物至簡單，為狀至明確，舉人世至複雜之思想感情，可以一覽得之，挽近以還，若書籍、若報章、若講義，非不佐以圖畫，匡文字語言之不逮。效力所及，蓋有如此。
《水彩畫法說論》內容相比起《圖畫修得法》來更為專門。李叔同寫作此文的目的是因為他認為，“西洋畫凡十數種，與吾國舊畫法稍近者，唯水彩畫。爰編纂其畫法大略，……以淺近切實為的，或可為吾國自修者之一助焉。”這篇文章概要介紹了水彩畫的材料以及水彩畫的臨本等方麵的知識。
一九〇五年的十月，李叔同來到日本以後不久，便與留學日本的其他一些留學生一起籌備編輯一本美術方麵的雜誌，借以對中國美術的發展提供新的借鑒。誰料到，雜誌的籌備工作剛剛粗具規模，日本的文部省頒布了《清國留學生取締規則》。為了抗議日本政府給予中國留學生的不公正對待，當時在日本的許多中國留學生紛紛以各種形式來表示自己的憤慨。與李叔同一起籌備雜誌出版工作的留學生有一些采取了罷課提前返回祖國的行動。這樣一來，擬議中的美術雜誌也就胎死腹中了。據有關資料的分析，上麵所提到的李叔同的兩篇美術論文原本是打算在自己編輯的這本美術雜誌上發表的，但因為雜誌最終沒有能夠辦成，所以才改發在《醒獅》月刊上的。
雜誌沒有辦成，李叔同很不甘心。他是一個辦事情很認真執著的人，不肯讓自己經過深思熟慮的想法就白白地落了空。在失去了合作者的情形之下，他一個人在東京辦起了一本名為《音樂小雜誌》的刊物。
一九〇六年的正月，李叔同在日本獨力編輯的《音樂小雜誌》出版。這本雜誌是由李叔同一個人編輯完成的，他身兼了文字編輯、美術編輯、校對等諸項工作，最終實現了以編輯出版雜誌的方式，向國內的藝術愛好者傳播新的藝術信息，以提高中國藝術水平的願望。這是中國近代史上的第一本音樂雜誌，但它所包含的內容絕不僅限於音樂一個藝術門類，其中還有詩詞、雜感及美術方麵的文章。這本雜誌由日本東京的三光堂印刷，然後寄回上海交由尤惜陰代辦發行事宜。按李叔同原來的想法，這本雜誌每年的春季秋季各出一冊，每年要出版兩冊的。但目前隻有一本創刊號留存於世，估計，後來因為種種原因，這個計劃並沒有能夠實現。
《音樂小雜誌》的封麵是上下各以深色為底，中間的底色為白色，有兩行五線譜的圖案作為裝飾。在五線譜的右側上下繪有幾枝花卉，“音樂小雜誌”“第一期”幾個字分兩行，標於封麵的最上部。
在這本雜誌的扉頁上，繪有木炭畫《樂聖比獨芬像》，這幅作品自然是出自雜誌的編輯李叔同的筆下。比獨芬就是德國的大音樂家貝多芬。陳星先生在他的弘一大師的傳記中指出：“此畫不僅是如今可見西歐音樂家肖像畫在中國刊物上最早出現的一張，而且還是如今可見李叔同本人西畫作品最早的一幅。看得出來，李叔同對貝多芬是很崇敬的。”在這本雜誌中，還有一篇李叔同親自撰寫的貝多芬的小傳《樂聖比獨芬傳》，全文隻有三百多字，是根據石原小三郎的原著改寫的。在對貝多芬的生平及音樂創作作了一個基本的介紹外，李叔同還對貝多芬對待自己音樂作品的態度大加讚揚：“每有著作，輒審定數回，兢兢以遺誤是懍。舊著之書，時加厘纂，脫有錯誤，必力詆之。其不掩己之短尤如此。”或許是由對貝多芬的介紹，李叔同又想到了中國的音樂創作，所以在這本雜誌的文章中，他寫有一篇《昨非錄》，對於國內音樂學習創作的謬誤加以反省：“學歌唱者，音階未通，即高唱《男兒第一誌氣高》；學風琴者，手法未諳，即手彈5566553之曲。此為吾樂界最惡劣的事，餘昔年初學音樂，即患此病。”（《男兒第一誌氣高》是當時國內的沈心工創作的一首樂歌，而5566553是這首歌的首句的曲調）通過在日本對於西洋各藝術門類的接觸和學習，李叔同已經意識到了當時中國國內學習借鑒西洋藝術時的淺嚐輒止。同時，在這篇文章中，李叔同對於自己以前的樂歌創作也進行了反省。
在《音樂小雜誌》的創刊號上，另有一篇很重要的文章，這是李叔同寫的《嗚呼！詞章》。在這篇文章中，李叔同通過他與日本樂歌的創作者的接觸發現：
予到東後，稍涉獵日本唱歌，其詞意襲用我古詩者，約十之九五。（日本作歌大家，大半善漢詩。）我國近世以來，士習帖括，詞章之學，僉蔑視之。挽近西學輸入，風靡一時，詞章之名辭，幾有消滅之勢。不學之徒，習為蔽冒，詆其故典，廢棄雅言。迨見日本唱歌，反嘖嘖稱其理想之奇妙。凡吾古詩之唾餘，皆認為島夷所固有。既齒冷於大雅，亦貽笑於外人矣。（日本學者，皆通《史記》、《漢書》。昔有日本人，舉史漢事跡，置諸吾國留學生，而留學生，茫然不解所謂，且不知《史記》、《漢書》為何物，致使日本人傳為笑柄。）
由此，李叔同也想到了要發揚民族的優秀文化傳統，並將其運用到中國樂歌的創作中去。就在這期的雜誌上，李叔同推出了三首他自己創作的樂歌，其中的《隋堤柳》一首，李叔同在歌題前加上了“別體唱歌”四個字，在歌後又注上了“仿詞體”的字樣。在歌後的按語中，他寫著：“此歌仿詞體，實非正軌。作者別有棖觸，走筆成之，吭聲發響，其音蒼涼，如聞陽之笛。《樂記》曰：‘其哀心感者，聲噍以殺，’殆其類歟？”這種仿詞體的歌詞創作大約就可以作為李叔同在《嗚呼！詞章》一文中的立意的具體實施行動了。這首《隋堤柳》寫得確實是相當淒美：
甚西風吹醒隋堤衰柳，江山非舊，隻風景依稀淒涼時候。零星舊夢半沉浮。說閱盡興亡遮難回首。昔日珠簾錦幕，有淡煙一抹纖月盈鉤。剩山殘水故國秋。知否知否，眼底離離麥秀？說甚無情，情絲婉到心頭。杜鵑啼血哭神州，海棠有淚傷秋瘦。深愁淺愁，難消受，誰家庭院笙歌又？
《隋堤柳》之外的另兩首樂歌被稱為“教育唱歌”，一首是《我的國》，還有一首是《春郊賽跑》。
《我的國》：
東海東，波濤萬丈紅。朝日麗天，雲霞齊捧，五洲惟我中央中。二十世紀誰稱雄？請看赫赫神明種。我的國，我的國，我的國萬歲，萬歲萬萬歲！
昆侖峰，縹緲千尋聳。明月天心，眾星環拱，五洲惟我中央中。二十世紀誰稱雄？請看赫赫神明種。我的國，我的國，我的國萬歲，萬歲萬萬歲！
《春郊賽跑》：
跑！跑！跑！看是誰先到。楊柳青青，桃花帶笑。萬物皆春，男兒年少，跑！跑！跑！錦標奪得了。
《我的國》一首以後流傳開來，成為了膾炙人口的愛國歌曲，它多次被收入清末民初的各種唱歌集中。日本的音樂教育家鈴木米次郎後來在“亞雅音樂會”的“唱歌講習會”中授課時，也曾采用這首歌作為教材。
其實，在這本《音樂小雜誌》中，李叔同所撰寫的序言大受稱道。在這篇隻有五百餘字的文章中，李叔同縱論音樂於人生中的作用，並將其創辦這本雜誌的過程及心情抒寫得淋漓盡致，且文風清麗，讀來餘香滿口，繞梁三日：
閑庭春淺，疏梅半開。朝曦上衣，軟風入媚。流鶯三五，隔樹亂啼；乳燕一雙，依人學語。上下宛轉，有若互答，其音清脆，悅魄蕩心。若夫蕭辰告悴，百草不芳。寒蛩泣霜，杜鵑啼血；疏砧落葉，夜雨鳴雞。聞者為之不歡，離人於焉隕涕。又若登高山，臨巨流，海鳥長啼，天風振袖，奔濤怒吼，更相逐搏，砰磅訇磕，穀震山鳴。懦夫喪魄而不前，壯士奮袂以興起。嗚呼！聲音之道，感人深矣。惟彼聲音，僉出天然；若夫人為，厥為音樂。天人異趣，效用靡殊。
繄夫音樂，肇自古初，史家所聞，實祖印度，埃及傳之，稍事製作；逮及希臘，乃有定名，道以著矣。自是而降，代有作者，流派灼彰，新理泉達，瑰偉卓絕，突軼前賢。迄於今茲，發達益烈。雲滃水湧，一瀉千裏。歐美風靡，亞東景從，蓋琢磨道德，促社會之健全；陶冶性情，感精神之粹美。效用之力，寧有極歟。
乙巳十月，同人議創《美術雜誌》，音樂隸焉。乃規模粗具，風潮突起。同人星散，瓦解勢成。不佞留滯東京，索居寡侶，重食前說，負疚何如？爰以個人綿力，先刊《音樂小雜誌》，餉我學界，期年二冊，春秋刊行。蠡測莛撞，矢口慚訥。大雅宏達，不棄窳陋，有以啟之，所深幸也。
嗚呼！沈沈樂界，眷予情其信芳。寂寂家山，獨抑鬱而誰語？矧夫湘靈瑟渺，淒涼帝子之魂；故國天寒，嗚咽山陽之笛。春燈燕子，可憐幾樹斜陽；玉樹*，愁樹一鉤新月。望涼風於天末，吹參差其誰思！冥想前塵，輒為悵惘。旅樓一角，長夜如年。援筆未終，燈昏欲泣。時丙午正月三日。
一九〇六年的八月，李叔同自日本返回天津探親。往返途中，他再次目睹了祖國內憂外患的緊迫情勢，心中充滿了憂傷與憤懣。歸途當中，他作了詩詞多首，傳達內心中的無限憂慮。一首《喝火令·哀國民心之死也》寫得沉鬱悲憤：