光緒二十八年五月四日（一九〇二年六月九日），何澄跟隨考察學製的吳汝綸從塘沽登上赴日的郵船，開始了他求知求新、學切實可法者的征程。
在東渡的這條船上，與吳汝綸同行的還有京師大學堂提調官、浙江補用道榮勳（榮祿的侄婿），京師大學堂提調官、兵部員外郎紹英等五名文武官吏和其他十五名或官費或自費的學生，何澄在京城的日文教習中島裁之亦以翻譯身份同往。
乘船浮海了六天，船入高麗灣，左右有遠山，有同行者指著一海岬告訴吳汝綸：“此甲午戰時初擊高升船處也，距高麗仁川四十英裏，士人呼為黃海衝。”六月二十日，船至長崎，清國駐長崎領事鄒小清先派翻譯唐寶鍔（一八七八～一九五三，廣東香山縣人，出生在上海，係清廷專為學習翻譯而於一八九六年派赴日本的第一批十三名留學生之一）登船相候，鄒小清則陪長崎縣知事荒川義太郎上船拜訪吳汝綸；隨後上船拜訪的有大阪《朝日新聞》報社長崎通信部主任山本靜、大阪《每日新聞》社長崎特派員田代直樹、《長崎新聞》報記者上野秀次郎。
六月二十一日，船抵馬關，靠岸停泊，因此關是日本本國海船上煤之最佳良港，所以往來中國的郵船往往要在此泊舟幾個小時，直至把郵船所用動力煤裝好後才再開行。但在這個甲午戰敗的媾和之地，凡中國人，沒有不痛心的；凡晚清思想進步的知識分子，沒有不會背誦黃遵憲這首傷心千古的悲歌的：
括地難償債，台高到極天。
行籌無萬數，納幣一千年。
恃眾忘蜂蠆，驚人看雀鸇。
傷心償博進，十擲輒成鞬。
吳汝綸欲上岸前往馬關條約談判處春帆樓一覽，但中島裁之不肯。吳汝綸隻好在船上作詩寫字，給上船采訪的《門司新報》記者日野種吉、《福岡日日新聞》記者丁吉治、大阪《朝日新聞》特派員藤昌樹各一首。吳汝綸作詩寫字時，何澄等生徒均圍繞在四周，其中的一首《過馬關》，讓何澄銘記在心，曆年難忘：
願君在莒幸無忘，法國摧殘畫滿牆。
聞道和親有深刻，欲移此碣豎遼陽。
也許是為了緩解喪權辱國的媾和悲憤之情，郵船從下關開行不久，便見“左右皆山，濃樹扶疏，耕漁錯落，風景絕佳。入夜，漁火隱現如繁星，尤稱絕景”。在甲板上眺望，眾人心情為之轉好。六月二十二日，船抵神戶。清國駐神戶領事蔡薰（清國駐日公使蔡鈞之弟）上船相候，神戶同文學校幹事、書記員鄭煥之、教習陳秀峰、吳肇修、何天柱、鍾齡、馮翼年等，挈領生徒十餘人來船歡迎吳汝綸。吳汝綸等清國官員被兵庫縣知事用小輪船接走，何澄等留學生在清國留學生會館神戶招待員孫實甫的招待指點下，把行李貼明留學生字樣，交與神戶海岸仲通清商盛源號的當差，一一點清，然後拿上到時憑牌領物的銅牌，即上了口岸。那時到日本，不需要任何簽證手續，如同在國內出省一樣，自由進出。隻是上岸以後，要把所帶行李先搬至稅關，經過簡單的查證：所帶物品重量是否超過所規定的磅數，有無攜帶煙、酒、綢緞等入港時應課稅的物件，然後即可通關。在仲通清商盛源號吃飯休息之後，何澄和其他同學拿到孫實甫給他們代買的火車票，即從神戶改坐火車到東京。
火車經過一天的行駛，何澄一行到達東京新橋車站時已是次日的晚上。到站後，即有清國留學生會館的幹事前來接站。在會館幹事的招呼下，何澄住進了距清華學校較近的一個下宿處，第二天即到清國駐日公使館報名、留書信地址，一為拿到公使館開具的入學谘文或作保書；二為備案；三為便於查詢、照料和保護。其時清國駐日公使為蔡鈞，留日學生對其評價不高，認為“不學無術，善鑽營，頑固自大”。蔡公使對何澄還算友善，因為一聽何澄說著一口京白，又是靈石兩渡何氏的後人，自然另眼相待，不但很快為何澄辦好入學谘文，而且還問到何副憲（何乃瑩）、何總督（何福堃）的近況。何澄一一稟答，頗有他鄉遇故知的親切。
公使館的一切手續辦好後，何澄順路即到理發店剪掉了辮子。前述有他剪掉辮子後的留影，可知割取這一縷青絲在這個初渡異國的年輕人心頭自有一番拋別舊習的決絕。不二日，便到小石川區傳通院旁的清華學校辦理了入學注冊手續。
清華學校占地麵積不大，進了校門沒幾步，正麵就是一座長方形的兩層教學主樓，是一種很簡陋的實用型的建築；樓門前廳設計為亭子狀，很高，與二樓的中間唯一的一個陽台差不多能挨住；屋頂很難看，前後長方形、左右正方形，就那麼順著坡向上合攏，除了四角多出四根柱頭，沒有一點裝飾和美感，很像中國古代的石棺。主樓左手另有一座長方形的二層學生宿舍樓，學習和生活倒是很方便。初入清華學校沒幾天，何澄便在江蘇籍同學陸規亮、劉鍾英處，結識了後來成為國民黨元老的吳稚暉。吳稚暉此行的目的是攜其十二三歲的女兒吳芙、外甥女馮元賽，好友女兒周佩珍（十二歲）、華桂（十六歲）、胡彬（即胡彬夏，十五歲）赴日遊學。與吳稚暉同行的還有曹汝霖的二妹曾曹汝錦（理蕰，上海人），以及章宗祥的夫人陳懋勰（彥安，蘇州元和人，二十三歲）。
曹汝錦，時年二十四歲，她的丈夫曾誌忞與之同行，並把五歲的兒子宏傑帶到日本準備入幼稚園。曹汝錦初入以從事中國女性留學教育聞名的下田歌子創辦的實踐女學校，一年後改入東京美術學校西洋畫科。曾誌忞入早稻田大學政治科，後因喜愛音樂，又兼入東京美術學校。歸國後，終把副業當正業，成為民國早期著名的音樂教育家。
在吳稚暉此行所帶最早赴日留學的女子中，當時年齡才十五歲的胡彬夏輥輯訛日後最有成績，她成為提倡女性在教育、社交、就業、財產以及人身自由等等基本權利的典範人物。
何澄本來想，吳稚暉貴為“先生”，本該乘坐一等艙的，但他乘坐的居然是比自己還要低一等的三等艙。這種艙，隻有小小的圓形玻璃窗，以通空氣，一遇上海浪，就要關閉，所以又臭又悶；艙鋪也不是床，而是日本式“他他密”，每人各占一席。由此，何澄對吳稚暉這位“先生”就有了一種距離極近的親切感。經過攀談，何澄知道吳稚暉早先叫吳眺，後改名“敬恒”以自警，因為他認為唯“敬”與“恒”方可肩天下之重任，又因景仰南朝詩人謝玄暉，便取字“稚暉”。他生在常州武進雪堰橋，六歲時母親病故，由外婆將其帶到無錫養大，所以一口無錫話。當許多人把他當作是無錫人時，他總是笑著說：“說我武進人可，無錫人可，總之，是中國人也。”何澄聽到這兒也笑著說：“我生在山西靈石，母親病故後被長兄帶到複州和京城，他們都是一口京話，我也跟著學會了官話，現在又借吳汝綸先生的幫助，得以到日本求學，所以您說我是山西人可，京城人亦可，總之，是中國人也。”說完，兩位就如忘年交那般無所顧忌地哈哈大笑。此後，何澄經常乘吳稚暉前來或隨江蘇同學前去拜訪之際，與其晤談閑聊。吳稚暉說起自己的經曆，不禁搖頭苦笑：光緒十七年（一八九一年），我鄉試中舉，次年參加會試未中，仍一心苦讀求功名，簡直是個隻慕咬文嚼字的陋儒。何澄聽說吳稚暉是個得過功名的舉人，便有些慚愧：您中舉已經夠讓我仰慕了。我才不幸，十五歲時，文章已完篇，正盤算遇上小考輥輰訛之年便到縣上考起，但因母親病逝，丁憂服闋時又趕上甲午戰敗，連個秀才也不能考。後來入了蓮池書院，能考了，先是戊戌變法，再是庚子之亂，什麼又都不能考了。您早知“秀才乃宰相之根苗”，我連這求功名的第一階級都沒踏上，還能求什麼功名？隻好讀讀洋裝書試試看。吳稚暉說：西學好，西學可以救己也可以救國。我也是直至甲午慘敗，方覺中國不能不學西方工藝，學了西方工藝，才能造大炮機關槍。當時卻也頗遭守舊的“正人君子”所疾視，看作一種怪物。丙申（一八九六年）那年，張之洞允許康有為辦《強學報》，因為用了孔子紀年，第一期出版，即停刊了。我們也不大相信康有為，因為他叫康祖貽的時節，傳說年紀未滿三十，已留了長胡子，作的《孔子改製考》等等，當時卻駭怪得利害。他自號長素，意思是長於素王，孔子是老二，他才是老大。此時他又用起孔子紀年，所以他雖在一八九五年號召“公車上書”，終疑心他不倫不類，是江湖一類的人物。是年五月《強學報》停刊，七月《時務報》又在上海出版。梁啟超的議論，大家方驚異是聞所未聞，才承認康、梁都是了不起的“維新黨”。一八九七年冬天，我在北洋學堂教書，放了年假到北平米市胡同去看康有為，大家論到最重要的問題，還是八股、小腳、鴉片三害。我說：“八股，我們可以自動不赴考，小腳，可以不纏，鴉片，可以相戒不染。”康有為就伸了兩個大拇指狂喊：“好極了呀，好極了呀！”那種氣概，現在是三四等政客都憂為之的，當時我們卻從未見過，不覺驚異是天人。光緒二十四年戊戌科會試，我真自動地不赴考，而梁啟超卻還去入場，更暗驚他們說話不大當話，更懶得親近他們。後來我到南洋公學教書，盛宣懷輥輱訛是麵長麵短，我都無緣相識，章太炎卻罵我是盛宣懷的洋奴，真太無聊了。一八九八年春天，我在北洋學堂教書，其時北洋校長，名曰總辦，是寧波王苑生輥輲訛先生，那是一個透新的人物。他與夏穗卿輥輳訛、嚴又陵輥輴訛等，正作《國聞雜誌》，譯載《天演論》，作《國聞日報》，講新政治。我自以為新得利害，可是學生和王校長都說我是保皇，於是一氣之下，就辭職到了上海南洋公學教書了。時值六月，康、梁在北京大變法，我自以為畢竟是個維新黨，當然也大興奮，也在無錫慫恿朋友，在崇安寺立下一個學堂。能立學堂，當然自認進步。我在學校有三句口號，叫做：“皇帝與百姓打官司，我助百姓；先生與學生打官司，我助學生；老子與兒子打官司，我助兒子。”為了師生同理校務的主張，既然通不過，就又離了南洋公學，東渡日本高等師範學校學教育，這是一九〇一年三月的事了。