由於李四光在第二高等小學堂的勤奮努力，學習成績總是名列前茅，於是1904年7月，他被破格選派到日本留學。湖北這批官費留日學生，一共九十名。有高等學堂北書庫掌書生吳柏年、方言學堂學生高仲和……但是，高等小學堂的學生，隻有東、西、南、北四路各一名。也就是說，在這批留學生中，第二高等小學堂隻有李四光一人。
要遠涉重洋出國求學，這對於出身貧微的李四光來說，可以說是做夢都不敢想的事。李四光的父母得知此消息後，自然也是萬分激動。李四光回到黃岡，在家小憩幾日，便與父母辭行，隨後趕赴上海同大家會合，乘輪船東渡日本。當輪船駛出吳淞口，進入東海時，李四光憑舷遠望，波濤無際，水天相接，頓時感到心曠神怡。海洋是如此的遼闊，比起他所熟悉的滾滾長江，又是另一層的境界。就是在這第一次海上旅行中，使他產生了喜愛海洋的感情，在以後的多次旅行中，不論是巨浪滔天，還是風平浪靜，隻要登上輪船，行駛在寬廣的一望無際的大海上，他總是心情曠達，妙想聯翩，成為他思籌精粹的科學論文的好場所。
輪船越過東海，經長崎，過馬關、神戶，入太平洋，抵橫濱。上岸後，乘汽車到達東京，中國留日學生總會湖北分會為迎接新學友，早已安排好了一切。可是，李四光卻因出國前父母及親屬為他餞行時，食用了過於油膩的東西加之一路的顛簸，以及初到日本，對異地水土不服，而引起了腹瀉，被送進胃腸病院隔離起來。在東京經過一段時間的治療，身體才得到了恢複。從此，李四光下決心，一輩子再也沒有食過大葷。
李四光出院之後，按照留學生監督的指定，進了東京弘文學院普通科學習。這個學院，是專為中國留學生開設的一所普通中學。留學生初到日本，大都先在這裏學習日本語言文學和初等數理化，三年畢業後，方可再進專門學校學習有關專業。當時全院有十多個班，每個班分別以中國地名命名，各班大約有四五十人不等。
按照清政府學部的規定，李四光在此期間雖然每月可以領到日金33元的官費，但是每月的學費和膳宿費要繳去25元，其他一切費用，都靠剩下的8元來開支，生活是比較清苦的。當然，對李四光來說，由於他從小就習慣於艱苦的生活，這點困難還是可以克服的。而且，當時湖北官府還發給留學生一些“安家銀兩”，有了它，無論對自己或者對家裏，總要好一點。
就在李四光去日本留學的這一年，即1904年2月，日俄兩國為了爭奪在我國東北三省的利益，雙方在中國的領土上進行了一次帝國主義戰爭。腐敗的清政府對兩夥強盜采取縱容的態度，竟然宣稱“彼此均係友邦”，甚至將遼河以東劃為“交戰區”，讓雙方軍隊廝殺，而自守什麼“局外中立”。經過一年多的時間，在美國的調停下，日、俄簽訂了《樸次茅斯條約》，日本從俄國的手裏奪得了租借中國的旅順口和大連灣、長春至旅順口的鐵路及其他有關的權益，並強迫清政府承認它們這筆肮髒的交易。這件事對李四光震動很大，一個小小的日本國，經過明治維新才三十餘年，就強大到這種地步，竟然打敗了比自己大幾十倍的俄國，真可謂是“奇跡”。所以他下決心，在日本努力學習，將來回國後把自己的學識貢獻給祖國，使之擺脫苦難。
1907年7月，李四光以優異的成績圓滿地完成了弘文學院的全部課程，順利地通過了畢業考試，並按照自己的誌願，考入日本大阪高等工業學校。
日本經過1868年的明治維新，向西方學習取得了顯著的成效，國力日益壯大，逐漸地躋身世界強國的行列。日本明治維新前，社會狀況同當時清政府有某些相近之處，加之離中國又近，所以一些有誌之士都來日本學習。在日本，當時中國的留學生很多，但是，入高等以上學校的卻很少，學農、工、格致各項實業專科的更是寥寥無幾。以湖北的留日學生為例，1906年入高等以上學校的，隻占留日學生總人數的百分之零點七。其中，學實業專科的，又不到百分之七（日本的高等學校，相當於中國的高中）。產生這種情況的一個主要原因，是日本政府因中國留學生增加速度太快，人員太多，各高等專門學校和大學校限製中國留學生入學人數。例如，李四光考取的大阪高等工業學校，每年隻吸收中國留學生十名。據清政府學部給湖廣總督趙爾巽的電文中說，1907年，在日本等候進入高等專門學校學習的學生竟有千餘人。李四光趕上這個時候，報考大阪高等工業學校，能被錄取，是不容易的。如果沒有優秀的成績，是根本不可能的。
大阪高等工業學校，是1899年開辦的，坐落在大阪北區玉江町。學校設有機械、應用化學、窯業、釀造、采礦冶金、造船、舶用機關和電氣，共8個學科，修學年限均為3年。李四光因為聽父親說，中日甲午戰爭，由於我們的船不如日本，而被打敗，所以從小立下了要為祖國學造船的誌願，去爭口氣，於是他便選擇了舶用機關這一學科。
這一年的暑假，李四光回國探親。這時，他的父母已遷到了距下張家灣約有3公裏的香爐山。李四光一回到家裏，全村立刻熱鬧起來。南北二屯的親屬到家做客，同村鄉親紛紛趕來，家裏人為來客沏茶到水，跑前跑後。李四光興奮地把自己在日本的學習情況，日本人民的風俗習慣、社會發展情況以及在國外的所見所聞，講述給父母和鄉親們聽，並把帶回來的各種動物、植物、礦物、機械和輪船的圖片貼在牆上，向鄉親們講解介紹，大家對這些當然都感到十分新鮮。
李四光幾年來進步很快，學到了不少科學知識。當時，村子裏鄉親飲水都要到門前塘裏去擔，很不衛生。回到家鄉後看到這種情況，他便決定為鄉親解決這個問題，讓他們都用上衛生的水。於是便親自動手，選擇屋後竹叢旁掘口井。可惜這時他還沒有學地質，不了解地下水的分布規律，挖到約莫6米了，還不出水，也就隻好作罷。挖井失敗了，他還不甘心，又想了另外一個人工過濾的辦法。他買來了一口大缸和一口小缸，在大缸的下端鑿一小孔，裝一根竹管子，缸底放一層石子和一層沙子，然後蓋一層白布；把挑來的塘水倒進上麵的大缸裏，塘水經過沙石層過濾，從竹管流入小缸內，混水變成了清水。鄉親們跑來看，都稱讚他的這個辦法好，並效仿起來，從此鄉親們便有了衛生清澈的飲用水。
李四光從日本回來做的這些事，從表麵上看雖都是一些小事，但卻給當地的鄉親們留下了難忘的印象，並且一直流傳下來。每提起這些事，當地老鄉們現在還是那麼津津有味地談論著。從這些小事中，我們可以看出，在李四光的年青的心靈裏，已經孕育著要用自己學到的科學知識，為人民謀福利的宏大意願。
9月初，李四光回到了大阪高等工業學校，這時全校有學生400餘人。舶用機關科一年級新生19人，李四光是班上唯一的外國留學生。這所學校條件與國內相比較，要好得多，各方麵都不錯。但是，李四光認為，學習當然要有適當的條件，但最重要的還是自己的努力。假如自己沒有認真學習的打算，沒有刻苦鑽研的精神，縱然學校的環境再好、設備再先進、條件再優越，也將得不到什麼收獲和知識。
李四光在大阪高等工業學校學習期間，更是抓緊時間，刻苦學習。清晨，同學們還未起床，他便借著熹微的晨光，開始了一天的學習生活。課外時間，他或者在自習室看書，或者到學校的操場上，找個僻靜的地方學習，夜深人靜，同學們都已進入夢鄉，他卻還在教室裏，或在宿室的走廊燈光下看書。求知的欲望，常常使他不顧疲勞，忘記了睡眠。
這所學校所設的課程，比弘文學院要繁重得多。第一學年有數學、物理學、無機化學、力學及材料強弱論、舶用機關、製圖、機械加工、英語等；第二學年增加了冶金學和造船學等；第三學年又增加了電氣工學、水力學、工業經濟、工場建築法、簿記等。每周學時39小時至42小時。由於李四光在國內隻不過讀了一年半的新學，到日本後盡管在弘文學了三年，也是著重補習日文，理科學得比較少，現在來這樣正規的高等工業學校，學習這麼多的課程，這對他來說，是很不輕鬆的。但是，李四光采取了把主要精力集中到9門主要課程上去的辦法，結果，取得了較好的成績。例如，第一學年的物理，他的成績是全班第一；第三學年實修課，即機械加工，他的成績是全班第二，英語成績是全班第四。這時他的數學成績還不太好，後來他到英國留學時，就對數學很下工夫，努力趕了上去。在學習上，李四光還養成了好問的習慣。他認為，我們稱某人有學問，是指他好學好問，學與問是不能分開的，隻有好學好問的人，才可能有學問。在學習中，他不去探索無關緊要奇聞軼事，而喜歡和同學們討論各種學術問題，切磋琢磨，互資裨益。也常列出學習上的疑難問題，向老師請教。當時，在中國流行著科學救國，實業救國等思想，李四光正是在這種思想影響下，來日本學習的，以及後來去英國留學，都是尋求救國的道路。但是，這在半殖民地半封建的社會裏，隻不過是一些不切實際的空想。在當時的條件下，要救國，就隻有革命。
李四光在日本東京弘文學院上學的時候，正是資產階級革命政黨——中國同盟會誕生的前夕。以孫中山為代表的民主派所宣傳的革命主張，在當時的留日學生中一天一天擴大。當時東京是海外留學生最為集中的地方。過去知識分子是伴隨著清政府提倡廢科舉、辦學堂、派留學運動而去的日本，並且人數逐年增加。在日本留學的學生，在1900年不過一百四五十人，至1906年竟增加到一萬二三千人。清朝統治者廢科舉、辦學堂、改變教育製度的指導思想，並沒有超出“中學為體，西學為用”的範圍。清政府曾經三令五申，各級學堂“當以四書五經、綱常大義為主，以曆代史鑒及中外政治藝學為輔”，“均以忠孝為本，以經史之學為基，俾學生心術壹歸於純正，而後以西學淪其智識，練其藝能”。但是，與清朝統治階級的願望相反，這些青年學生們一旦接觸了西方資產階級的社會政治學說和自然科學，感受著民族危難的刺激和群眾鬥爭的影響，就紛紛走向清朝的對立麵，成為清朝統治階級無法控製的一股新生力量。