此外，林則徐還接觸到一個叫林希五的人，他是林則徐的同族長輩，他的遭遇也觸動了林則徐的心弦。
據記載，林希五原名林雨化，閩縣人，世居螺洲。乾隆三十三年（1768）戊子舉人。他性情耿直，見義勇為。乾隆五十九年（1794）福建長泰的林、薛兩大家族因農田水利之爭釀成械鬥，告狀到官府，由縣一直告到省裏。福建按察使錢士椿受賄白銀一千四百兩，閩浙總督伍納拉受賄白銀一千兩。判案時，收受賄賂的官老爺顛倒是非；藩台、糧道、鹽道等省治大小官員都受了賄賂，十幾個人因此蒙受冤屈。此事在全省引起了轟動，人人都心知肚明，但人人敢怒而不敢言。這時，隻有林希五挺身而出，他看準了元宵節的機會。元宵節是中國傳統節日，又叫燈節，這一天處處張燈結彩，人們都走到街巷欣賞花燈、猜燈謎。林希五事先製作了幾盞大花燈，在元宵節這天晚上懸掛在顯眼的地方，燈籠上寫著一首打油詩，遠遠就看得清清楚楚：“五道官不正，雙司爭要錢。兩台黑暗暗，唯有祝光明。”錢士椿等收受賄賂的官老爺得知此事，又羞又惱，竟仗著手中的權勢派兵衝散了好端端的花燈賽會，出來看燈的百姓隻好叫著苦回到家裏。三天後，錢士椿指使小人誣陷，羅織罪名抓捕了林希五。在獄中，林希五不屈不撓，大聲控訴省城貪官的累累罪行。官府見林希五倔強不肯服軟，拘禁他七個月後，就遣他到新疆烏魯木齊。就在遣戍當天，英勇無畏、大義凜然的林希五還與知府抗辯，這使他在遣戍途中遭受到了非人的虐待，沉重的鎖具加在他身上，他難以動彈；有時他被鎖在密閉的船艙底，連喘氣都十分困難。林希五一路上可謂備受摧殘，僅保住一條命，沒有立刻死去而已。三年後釋放回家，林希五年已六十。也是無巧不成書，林希五入關時正好趕上羅織罪名陷害他的那個知府因獲罪論戍。林希五哈哈一笑，投名帖前往拜見，名帖裏又夾了一首詩嘲笑這位知府，知府見了詩當即暈厥。
已屆耳順之年的林希五回到福州後依然讀書、寫文章，絲毫沒有萎靡頹廢之氣，並且設館授徒，意氣風發，被人稱為“閩南林夫子”。
林希五與林賓日交往密切，他的思想和為人對林則徐的成長有很大的影響。林希五也十分賞識甚至敬重才學過人的林則徐。嘉慶十一年（1806），林希五將平生所著詩文編成文集，拿給二十二歲的林則徐，讓林則徐根據對他的了解寫一篇序言。林則徐激動難言，懷著崇敬的心情展卷捧讀，一口氣讀到深夜，當即就寫下一篇情文並茂的序文。序文不僅表達了對林希五高尚品格的仰慕，對他的悲慘遭遇的深切同情，還抒發了自己的憤慨之情。林則徐文中說，他很小的時候就聽說過林希五的事了，“心敬慕之，欲修一見……先生梗直獨操，出於天性，而道高毀來。身處冷宮，觸怒權貴，至於文致周內，下獄投荒，垂白在堂，孤身萬裏。士君子固有遇人不淑、守正被害如先生者乎？此固見者之所怒目，而聞者之所扼腕也。”
林希五嫉惡如仇的性格和他的事跡，都激起林則徐的欽佩之情。林則徐成年入仕後始終心懷民眾、為官清廉，始終懷有悲天憫人的高尚情懷，始終一身正氣不與貪官汙吏同流合汙，與少年時代這些人和事的熏陶、教育是有關係的。
少年林則徐讀書十分刻苦，無論冬夏，誦讀不輟。寒冬臘月，朔風怒號，夜晚仿佛格外漫長，林家一家人按長幼排好位置，都坐在一盞油燈下，母親和姐姐忙著剪紙、做女紅，林則徐則溫習功課、用心讀書。茅屋裏十分寒冷，大家凍得時不時打寒戰，甚至凍得手腳皸裂，但還是咬緊牙關忍耐著，一直堅持到深夜。林則徐深知讀書不易，他珍惜手裏的每一本書。有時候，為了買一部新書，他不得不把衣服拿到當鋪裏當掉。還有段時間，他不辭辛苦到閩縣衙門做了個抄寫員，以微薄的勞動所得購買書籍。看到林則徐這麼好學、懂事，人們經常誇獎他，但也總有人出於好心勸林賓日別再讓林則徐讀書，說窮人家的孩子應該早早學個手藝，或者做生意賺錢養家。每到此時，林賓日總是笑一笑，不說話，他深深了解自己的孩子，他對孩子懷有殷切的希望。
勤奮、聰慧的林則徐，很早就表現出過人的才華。有一次，一個富豪偶然見到林則徐，覺得他氣宇軒昂不同於一般的孩子，將來一定有大出息，就試著跟他交談，林則徐果然彬彬有禮，對答如流。這個富豪不禁大為驚奇，對他十分讚賞。由於文采出眾，林則徐漸漸成為一名婦孺皆知的“神童”。對對聯通常是考驗神童到底有沒有才華的好辦法。民間流傳著許多林則徐對對聯的故事。
一次，街坊鄰居中有個人想考一考林則徐，就出了個上聯給他：“鴨母無鞋空洗腳。”林則徐馬上對出了下聯：“雞公有髻不梳頭。”對方不禁拍手叫絕。還有一次，正趕上元宵節，老師讓學生對對子，出了個上聯：“點幾盞燈為乾坤作福。”林則徐脫口而出：“打一聲鼓代天地行威。”反應之迅速、對仗之工穩，都遠遠超出別人。不久，老師帶著一群孩童去登山遊玩，興之所至，給出“山”、“海”二字讓學生每人作一副七言聯，正當其他人冥思苦想之時，林則徐略一思忖，吟出了“海到無邊天作岸，山登絕頂我為峰”的千古名句，老師不禁為他敏捷的才思和卓爾不群的氣概擊節稱歎。
林則徐十二歲那年參加一場考試，他的成績和一個老童生的成績一樣，考官難以取舍，也決定讓他們對對子，看誰更有才華。考官略一思考，結合當時的場景給出四個字的上聯“童子何知”。老童生沉吟良久沒有對出下聯，不禁臉紅，林則徐卻沉著地答道：“大人利見。”考官不禁連聲叫好，老童生不得不甘拜下風，說：“我老了，後生可畏。”“利見大人”是儒家經典《易經·乾卦》中的，小小年紀的林則徐熟知經典並能夠巧妙化用，讓人不能不讚賞有加。事實上，林則徐讀書涉獵頗廣，絕不僅僅是儒家經典。中國傳統的經史子集，隻要能見到的，他都熱心捧讀。他尤其關注曆史上那些著名人物的生平事跡，對李綱、嶽飛、文天祥、於謙等人的節操、事跡尤為讚賞。求學時期，他經常和同窗好友到越王山麓憑吊李綱祠。林則徐二十二歲時還曾發動學友共同修葺李綱墓。後來在翰林院期間，林則徐奉旨去雲南主持考試，途經河南時還特地前往拜謁嶽飛祠，對嶽飛表現出深深的崇敬之情。