林礪儒1889年7月18日出生於一個書香世家。高祖林漢源是清朝貢生，祖父林兆蓉是舉人，父親林達是秀才，因鼠疫早卒。大伯父出鴻是廩生，二伯父林遷是監生，叔父林適、堂兄林繩武均係優貢，被選入廣雅書院學習。林礪儒四歲喪父，母患癲癇，靠祖母養大，而培養教育則全賴伯父林鴻和叔父林適。林適是個教師，頗有學問，且善書法，外出教學時總把礪儒攜於身邊，讓他自幼受詩書熏陶。林礪儒長到入學年齡，伯父林鴻便聘了一位家庭教師來教他，並經常檢查他的學習情況，對他要求十分嚴格。1905年，林礪儒進高州高郡中學堂讀書。他學習十分勤奮，各種各樣的書都讀，曾積勞成疾吐過幾次血。1911年，他以優異成績畢業，即應信宜縣中義學堂之聘到該校任教，同年又參加公費留學日本的考試，選報了東京高等師範學校，抱定了終身服務教育的決心。
1918年3月，林礪儒從日本回國，次年4月，到國立北京高等師範大學（後改名北京師範大學）任教授，擔任心理學和教育學課程。同年，五四運動爆發了。他支持學生運動，幫助學生辦平民學校，辦識字班。他對學生說：“教育家要培養進步的人格，以適應進步的社會！”
北京高等師範學校附屬中學，前身是北京五城學堂，是我國最早的一所公立中學。成為高師附中之後，本應“更有條件負起中學教育開路先鋒的重任”，然而由於領導思想守舊，問題很多，師生意見很大，經常發生學潮，以致成為少有人敢問津的地方。為了整頓附中，辦好附中，北京高師負責人擬派林礪儒兼任附中主任（校長）。1922年9月，林礪儒正式就職。在就職演說中，他指出：“中學教育是全人格教育，其基本任務是文化教育，是人們需要的普通文化修養的最高水平。”他試行“六三三”學製，將原來小學七年、中學四年改為小學六年，初、高中各三年。為了適應新學製，他組織教員製訂規章製度和教學計劃，編寫教材，自己草擬，自己試行，自己修訂，因而形成了一種勇敢負責的風氣。同時，對校風學風進行全麵整頓，提倡“師生互相親愛，互相協助”。針對過去教育脫離實際的做法，他提出教育應以生活為主，培養學生發現問題、解決問題的能力，並重視給學生以係統的科學知識，在高中增設了第二外國語、解析幾何、微積分初步、初等力學、電磁學、分析化學等課程，同時，展開全校普及體育。此外，他還聘任了一批有學識、有改革精神的新教員。經過這一係列的努力，高師附中風氣好轉，質量提高，成為一所全國仰慕的學校。在擔任高師附中主任期間，他於1922年和1925年兩次向當時的國會提出教育法草案，想為教育事業爭得憲法上的保障，但都沒有得到結果。
1928年，北京師範大學並入北平大學，改稱第一師範學院，林礪儒任臨時院務委員會主席。他著手對第一師範學院進行改革，增設了社會係，支持師生參加社會上的進步活動。他的這些做法不為當局所容忍。到1931年，國民黨教育部決定對第一師範學院嚴加整頓，停止招生一年，並解除了林礪儒的職務，派來了新校長。林礪儒憤然離開第一師範學院，南下廣州，在中山大學任教授兼教務長。1932年7月，他接受廣州市政府的聘請，兼任廣州師範學校校長。
1933年，廣東省政府為紀念古應芬（字勷勤），創辦勷勤大學，林礪儒應邀參加籌辦工作。該大學成立後，由當時廣東省主席林雲陔兼校長，他任教務長兼教育學院院長。1937年，勷勤大學教育學院獨立為廣東省立教育學院，後又改為廣東省立文理學院，他繼續擔任院長。以這間學院為基地，他更放手地進行教育改革。在課程設置上，他打破常規，增添了一批公共必修課，如“新哲學”、“經濟學”、“現代經濟學說史”、“國際政治”、“世界革命史”等；先後聘請了一批進步教授，如張栗原、蔣徑三、李平心、高覺敷、陳守實等到校執教，還邀請著名民主人士鄒韜奮、錢俊瑞、楊東蓴等到校作形勢報告。他提倡思想自由，學術研究自由，學生可以組織各種社團，探討各種問題。他還帶領師生下鄉進行抗日宣傳，開展抗日救亡活動。
1941年5月，國民黨當局下令，改組文理學院，免去林礪儒的職務。消息傳開，全校震怒。師生們自發成立了“挽林委員會”，召開聲勢浩大的挽林大會，派出教師代表團前往韶關向省政府請願，要求省政府收回成命，並通電全國。學生們還集體創作了《挽林戰歌》：風已來了，雨也來了！
我們學校在風雨中飄搖，
我們的生活在風雨中震蕩。
我親愛的同學們，團結起來！
我們的生活在風雨中震蕩。