呂叔湘，1904年12月24日出生在江蘇省丹陽縣城內新橋西街柴家弄，在兄弟中排行第三。父親呂東如經商，家境較富裕。呂叔湘幼年時在縣城的一所私塾讀書，1915年，考人丹陽縣高等小學。這是該縣最早的一所高等小學，校址坐落在縣城白雲街中段，現在是丹陽實驗小學。這個學校雖然沒有多少先進設備，但教師水平較高，教學認真，管理極嚴。呂叔湘入學的這年，學校增開了英語課。
校長楊鴻範是位忠厚的長者，教全校三個年級的算術，抓習題作業十分認真。作業本上絕對不準添除塗改。如果寫錯，全部重寫。這樣就養成學生不寫錯字的好習慣。國文教師張海宗講批改作文，隨改隨講。一起叫去五六個學生，因此可以聽到五六篇作業的評改。
當時丹陽沒有中學，高小畢業升學，有的去鎮江六中，有的去常州五中。1918年暑假，呂叔湘和同學夏翔考入江蘇省立第五中學。這是他第一次離開家鄉。常州五中的校訓是“存誠，能賤”，入學的新生看了，不解其意。校長特地給他們講了這兩句話的含意：“存誠”是做人要老實；“能賤”是不要輕視卑微的工作。
呂叔湘在各種功課中，對國文和英語最感興趣，有空喜歡在圖書館廣泛閱讀。
1922年，呂叔湘中學畢業，以優異的成績考取國立東南大學外國文學係（後改為外國語文係）。根據當時學校的製度，除本專業課程外，還必須在文科和理科的幾組課程中選修若幹學分，如中文、曆史、物理、化學、地學、生物學、心理學等課程。所有這些，都為他以後的教學和研究工作打下了基礎。
呂叔湘學生時代的興趣在文學方麵，對語言方麵如語音、會話等並不十分重視。後來到中學教英文，需要語音、語法方麵的知識，就邊教邊補。呂叔湘於1926年從南京國立東南大學畢業，到家鄉剛剛創辦了一年的丹陽縣立中學教一個班英文。當時隻有兩個班；校長陳湘圃自己教了一個班英文。呂叔湘教學任務不足，陳湘圃讓他兼教國文文法。呂叔湘以《馬氏文通》為教材，開始鑽研中國文法。
呂叔湘除在丹陽縣中任教外，還在堂兄呂鳳子創辦的丹陽正則學校兼課，後來是該校校董之一。呂風子長呂叔湘十八歲，在呂叔湘懂事的時候，呂鳳子已到外地工作，兩人很少見麵。在丹陽的這段時間裏，呂叔湘上課前後，有時候去鳳子大哥的房子裏隨便談談，兩人很快熟識起來。
1927年暑假後，校長陳湘圃改任省立徐州中學校長，繼任的校長是何金元。半年後，何金元被地方勢力逼得辭職，呂叔湘也跟著辭職到蘇州去教書。1928年，丹陽縣中情況很不好，呂鳳子等共商對策，把一向在杭州教書、跟丹陽教育界無關係的何其寬找回來擔任縣中校長，希望能緩和矛盾。何其寬又把呂叔湘請回來擔任教務主任。另外又從外地請來幾位有學問有經驗的教師，一時間，教師陣容整齊，學校氣象為之一新。
可這是不符合某些地方勢力願望的，他們不斷給何其寬製造困難。何其寬感到棘手，隻幹了一學期，又不得不辭職回到杭州去教書，呂叔湘也辭職去安徽省第五中學教書，暑假後仍到蘇州中學任教。
1929年起，呂叔湘一直在外地工作，難得回丹陽，可每逢回丹陽，他總要到正則學校去看望風子大哥和別的熟人，忘不了自己是正則大家庭中的一員。蘇州中學圖書較多，呂叔湘在這裏閱讀了丹麥學者葉斯柏森的《語法哲學》等語言學名著，為以後走上語言學研究的道路打下了基礎。
呂叔湘在蘇州中學，除教學外，還參加《高中英文選》（中華書局出版）的編注工作。有空還譯書，前後譯出《人類學》、《初民社會》、《文明與野蠻》三種，分別由商務印書館和生活書店出版。1935年，呂叔湘考取江蘇省公費留學英國，第二年年初成行。在起程前，呂鳳子欣然為他繪一幅畫送行。呂叔湘先後在牛津大學人類學係、倫敦大學圖書館學科學習。他出於教育救國的思想，決定選學圖書館學專業，是因為覺得圖書館工作對發展祖國的文化事業作用很大，自己要為改進我國的圖書館工作而努力。
1937年，抗日戰爭已開始，呂叔湘沒有等三年期滿．提前於1938年初回國。當時江蘇已淪陷，呂叔湘家人流亡到湖南，呂叔湘與家人會合後，轉道雲南，在雲南大學文史係任副教授，教英語。他和施蟄存住同屋。施蟄存拉他給《今日評論》周刊寫文章。恰好早幾天，呂叔湘看到朱自清先生寫的一篇文章說，每個句子總要有一個主詞，覺得這種說法不全麵。考慮再三，他就寫了《中國話裏的主詞及其他》。這是呂叔湘先生的第一篇有關漢語語法的文章，並由此結識了朱自清先生。也正是這篇文章發表後，1939年暑假後開學，係裏給他加了一門中國文法。這時候，王力先生在西南聯大講授“中國現代語法”的講義已經印出來了，呂叔湘借來一份參考。他在教課中遇到一些問題，想找王力先生商討，可王力先生休假，住在河內從事漢越語的研究，無法商討，隻好自己琢磨鑽研。
1940年暑假後，呂叔湘離開昆明，遷居成都，任華西大學中國文化研究所研究員。他的第一篇研究論文是《釋您、俺、咱、喒，附論們字》，這是針對胡適和王靜如的文章寫的，他們說“們”是從“俺、您、喒”的韻尾-m變來的，呂叔湘發現這個結論恰好把演變的曆史顛倒了，引許多材料證明先有“們”字。“俺”是“我們”的合音，“您”是“你們”的合音，“喒”是“咱們”的合音。此後他接著發表《說漢語第三身代詞》（英文）、《論“毋”與“勿”》等論文，其中有好幾篇是研究近代漢語（即早期白話）的，開辟了漢語語法研究的一塊處女地，代表作有《釋〈景德燈錄〉中“在、著”二助詞》等。
1942年，呂叔湘離開華西大學，改任金陵大學中國文化研究所研究員。同年，商務印書館出版了他的《中國文法要略》上卷（中、下卷出版於1944年）。這是我國語法學史上的開創性著作之一。我國在《馬氏文通》以前，沒有係統的語法著作。古人講章句，講虛字，目的是讀懂古書，還沒有想過語言的形式可分析綜合，總結出一些規律。語法學是19世紀末從西方引進來的，因此不免有一段時間以模仿為主，難免有削足適履的毛病。呂叔湘曆來重視語言實際的研究，他的語法著作總是從具體的語言材料出發，努力探索漢語的特點和規律。《中國文法要略》這本書以豐富的語言材料為基礎。因為此書是四川教育科學館約稿，供中學教師參考，所以引用的材料大多數取於當時的語文課本，文言白話兼收。作者用比較的方法研究語法，建立了一個新的語法體係，對後來的語言研究產生了一定的影響。