祖輩來自中國：李光耀的祖先是地地道道的中國人。
據有心人細心查訪，李家上祖是福建省上杭縣稔田鄉李火德，後來，不知何因，李家遷至廣東省梅縣鬆口鄉，後來，又逐漸遷至廣東省大埔縣古野鄉唐溪樓下村。
李光耀的家族是從其曾祖父李沐文（又作：李博文）開始遠離故土，定居新加坡的。李沐文，號華卿，1848年2月11日出生在唐溪樓下村，其父李立斌和母親曾氏是一對勤勞而善良的貧苦農民。李立斌共有5個兒子，分別名為沐寵、沐恩、沐祁、沐郊、沐文。沐文最小，也最聰明，最受父母疼愛。
與千千萬萬老實本分的中國農村家庭一樣，李立斌雖然家境貧窮，但自然相信“萬般皆下品，唯有讀書高”這個他們自己也不全然明白的道理，在沐文6歲時，就將他送去上學了。
關於沐文的聰明，在今天的廣東大埔，仍流傳著這樣一個故事：
有一天，沐文乘客船外出。因當時天旱水少，河道顯得極其狹窄，這時，沐文所乘客船與一艘運石頭的貨船相遇，不知何因，兩船各不相讓，誰都無法前進，雙方的船主甚至頂起牛來了。
各不相讓總不是辦法，運石的貨船老板想出了一個主意，他說：“我出個對子，你答得上，讓你先過，否則，就得讓我先走。”這一下可把客船主難住了。客船主是個文盲，他吞吞吐吐地自言自語道：“我鬥大的字識不了一筐，叫我怎麼辦呢？”
一個誰也沒有料到的場景出現了。正在客船主自言自語、六神無主之時，小沐文從船艙裏跑了出來，大聲說道：“我來答。”
這一下，不僅客船主沒想到，就連運石頭的貨船主也驚了。不過，稍過片刻，回過神來的貨船主樂了，心想，我常年在河裏行船，是出了名的出對能手，我的對子不知難倒了多少人，難道還會被你個孩子對上。於是，他清了清嗓子，滿不在乎地出起了對子：“船載石頭，石重船輕，輕載重。”
說完，貨船主兀自高興地站在船頭，嘴角露出了嘲弄的笑容。
然而，還未等他的笑容消失，小沐文揮起身旁一個老人的拐杖，大聲地答道：“杖量水麵，水長杖短，短量長。”
大家聽後，全都為小沐文的機智而高興，貨船主也驚歎這個小孩子的聰穎，主動給客船讓出了水路。而此時，小沐文才11歲。
然而，盡管李立斌夫婦兩人勤勞、節儉，可是，貧困仍然纏繞著他們，他們不得不在無可奈何的情況下把沐文的三哥賣到高陂鎮卓龍下村，以減輕負擔。
在那個年代，中國農民是無論如何也擺脫不了貧困的。沐文16歲時，就不得不輟學回家，幫助父母。
窮人的孩子早當家，1864年3月，年僅16歲的沐文開始了他真正的人生之旅。他一個人跟著大人們出海，遠渡重洋去新加坡謀生。
從古野渡碼頭搭乘駁船，後轉乘大帆船，經過三個多月的旅程，李沐文終於到達了新加坡。
新加坡是梵語“獅城”的諧音，其得名頗有趣。在1150年左右，蘇門答臘的室利佛逝王國王子槃那乘船到達當時還很荒涼的新加坡，看到一隻全身烏黑的巨獸。王子問當地人：“這是什麼野獸？”當地人用梵語告知為“獅子”，從此，王子將梵語“獅子”記在了心頭。後來，人們就用“獅城”來命名這塊土地了。當然，因這塊土地太小，也有人將其稱為星洲或星島，不過，“獅城”成了後來的國名，其諧音就是“新加坡”。小小的新加坡於1819年被割讓給東印度公司，1824年淪為英國殖民地。
李沐文很快就熟悉了新加坡的曆史和社會情況，他確信這裏是一個較有發展前途的生意場。然而，兩手空空地來到新加坡的李沐文卻沒有資金投資商業，舉目無親的他隻能靠自己的聰穎和口才在新加坡街頭以說書講故事為生。他把母親給他做路費的金耳環賣掉，買了小鼓、小銅鑼，用作道具，以招徠聽眾。他從《西遊記》講到《三國演義》，從《水滸傳》講到“三言”、“二拍”，小鑼、小鼓敲得很響，聽眾竟圍了一層又一層。沒想到，李沐文僅僅憑著一副伶俐的口齒，不久就賺了上千元的“叻幣”。
有了這上千元的“叻幣”，李沐文終於可以吐口氣了。他用這上千元的“叻幣”作為本錢，北上緬甸，到大山深處采集杜鵑樹根。因為他聽人說，杜鵑樹根係發達，是不可多得的根雕材料，而當時的新加坡，不少英國商人對傳統的中國根雕極有興趣。