據傳，呂蒙正的父親在洛陽做官，聽信小妾讒言，把結發妻子及兒子蒙正趕出府門。蒙正母子在洛陽無親可投，流落至洛陽東二十多裏的一個村子裏，尋了一個破窯住下。
破窯無門無窗，風雪淩侵，寒冷刺骨。母子二人全靠母親給村人紡棉賺點兒錢糊口，總是稀湯野菜糊口，破衣爛絮遮體。幼小聰明的呂蒙正挖野菜、拾柴禾，以分擔母親之憂。他每天外出，總要路過村學堂門前，就偷偷地聽學生讀書。聽得多了，也能背誦一些。七八歲時，他向母親提出了上學的要求。
母親聞言後，淚眼婆娑，嗚咽道：“娘知道讀書有用，要不是你狠心的爹爹把咱攆出來，你早就入學讀書了。可是現在咱連吃穿都顧不上，何來的銀錢供你上學呢?”
小蒙正固執地問：“那我一輩子都不能上學念書了嗎?”
母親聽孩子這麼一問，一夜輾轉反側不能成眠，她猛然記起自己小的時候，在娘家跟爹爹也念過幾年《四書》、《五經》，自己不也能教孩子讀書麼？
第二天，蒙正去拾柴禾走了，她就到村裏相識的人家，找了一些殘缺不全的舊書回來，晚上一邊紡棉，一邊教兒子念書。母親教他讀書了，小蒙正樂得手舞足蹈，拾柴挖菜時，嘴裏也在不停地朗誦。晚間，破窖裏的小蒙正，囊螢照書，琅琅而讀。
一天，呂蒙正走在出外討飯的路上，被一陣琅琅的讀書聲所吸引，循聲而去，原來是一座私塾。他不由地走上前去，在窗外聽了起來。
此時室內的先生正要學生們背書，可一個個都背不上來，先生臉色發青，一怒之下抓起戒尺就要懲罰他們。小蒙正感到好奇，就探頭往窗裏看，被先生發現，先生走出門來斥責他：“走開，你在這裏幹啥？”
“聽您講書。”
“你一個小討飯的，能聽懂講書？”老先生正在氣頭上，想趕他走。
“您剛才講的，我都聽會了。”小蒙正不慌不忙，應答自如。
先生吃驚道：“你聽會了，能背誦一遍麼？”小蒙正從容不迫，把剛剛聽到的文章朗誦一遍，竟然一字不漏不錯。
先生聽完，心中生喜：“孩子，你想讀書嗎？從明天起，你來讀書吧！不收你學費。”
先生收他為“特別學生”，並且給他些筆墨紙硯之類的文具讓他使用。此後，呂蒙正的學業突飛猛進，大有長進。
這年大年三十，呂蒙正外出討飯一天，晚上一回到寒窯，就翻開了書本溫習。隻聽外麵爆竹聲聲，此起彼伏。母親含著淚說：“孩子，明天就要過年了……”呂蒙正知道家裏米光麵盡，母親心裏難受，沒等娘把話說完就安慰母親說：“我讀我的書，娘您紡您的棉，有朝一日兒得了誌，咱一天過上一個年！”
聽了孩子的話，母親覺得孩子有誌氣，便揩幹眼淚繼續紡起棉來。
呂蒙正長到十八九歲的時候，母親劉氏勞累過度，病魔纏身，在饑寒交迫中撒手人寰。無助中的呂蒙正獨自一人生計，他白天街頭謀生，晚上寒窯苦讀。