呂蒙正常說：“我沒有多大本領，隻有一條，能用人也”。他在做宰相時，善於發現人才，培養人才，有時為了推薦一個人，甚至不怕擔風險，遭斥責。皇上趙光義諭中書選拔人才，他暗示朔方是擇才對象之一。呂蒙正得知後，也把自己物色的人選抄名單上報。皇上一見生氣，膽敢違旨，決定不用，一日三次找呂蒙正談話，呂蒙正三次答對堅持。皇上發怒，將奏單擲之於地，且嚴厲斥責道：“卿何以這般固執？”呂蒙正答道：“臣非固執，實因陛下不了解此人。就是固執，臣認為此人可使，別人皆不如他。”稍停，呂蒙正用了一句誰也不敢講的話稟告皇上，他說：“臣不願用媚色盲目追隨人主，這樣做，是要誤失國家大事的。”說畢，俯身拾起奏書置入懷中退殿。此情此景，同列者均悚然而不敢動，麵色陰森。皇上退朝，撫心沉思，對左右說：“呂蒙正氣量，朕不如也。”遂啟用了呂蒙正所薦之人，果然稱職。
富言，是呂蒙正家中座上客，相遇海闊天空，無話不談。一日，當談得正起勁時，富言提出：“吾兒已十歲多，想入書院求讀，不知呂公之意若何？”呂蒙正當即應允。富言攜兒相見，言未數語，呂蒙正驚奇，心中暗自稱讚，是個好後生，英俊天才，他日名位當與我可能相似，功勳業績亦可能遠遠超過我。隨即留住，衣食全供給，且甚豐。富言之子，即富弼也，後兩次入相，北宋時的名臣。
呂蒙正已離職回裏了，有一次宋真宗趙恒來看望他，問道：“卿有數子，卿認為有誰能到朝廷挑重擔？”呂蒙正思索片刻回答說：“臣雖有犬子多人，但在臣看來一個也不可足用。據我們平時考察，侄子夷簡倒是一個人才，現在潁州（今河南禹州市）擔任推官，是宰相的料子。”從此宋真宗頭腦裏就有了呂夷簡這個人的印象，並時常考慮如何使用他。趙禎即位，是為仁宗，呂夷簡很快做了宰相，是宋仁宗鞏固封建政權的得力助手。
呂蒙正身邊有一隻布袋，袋子裏裝本子一冊，專門記載有關人事方麵的問題。他自己考察的記錄進去，別人向他彙報的也記錄在這本子上。各地官吏來住地拜會他，都耐心地詳細詢問發現人才沒有，情況如何。客去，他怕時久易忘，立刻記錄備案，以待後用。一旦朝廷求人，他即拿出手冊，清清楚楚地給皇上介紹。後來事實證明，經過他推薦的宰相和文武官員，一般都很稱職，在朝臣中頗有信譽。但他反對營私舞弊，買官鬻權；有一朝士，家中收藏古鏡一麵，且對人說，該鏡能照二百裏，是古寶也。他以求知為名，想獻給呂蒙正。呂蒙正洞察其中之奧妙，非常嚴肅地拒絕道：“吾麵不過碟子大，哪能照耀二百裏。”朝士麵如赤紙，沒趣地走了。
宋真宗景德二年（1005年）春，呂蒙正上疏辭官回故裏洛陽去了。在洛陽，棲居在宋太宗賜予他的“麗景門”官邸裏。該宅廳堂秀俊，園亭花木俱全，是個安度晚年的好地方。兒孫環列，滿堂春風，且常與親友故舊設宴聯歡，怡然自得。為了懷念趙家王朝器重他的恩德之情，宮中營造永熙陵時，奉家財百餘萬以表資助。因而真宗趙恒兩次祭掃永熙陵時，均親自到洛陽看望他，並賜貴重的金屬裝飾品。趙恒走後，他將聖上坐過的廳堂，用木柵隔起，設禦榻，不準庶人複坐，作文物保護起來。
六十八歲時呂蒙正謝世，贈中書令，諡曰“文穆”。