石門書院位於青田縣西七十裏的石門山麓的石門洞中，始建於唐玄宗李隆基的天寶三年（744年），開始時是國立圖書館，後來，這地方離官員辦公地點太遠，官場肥佬們不愛動彈，逐漸地就成了私人講學的場所。北宋時期，石門書院已經變成私立大學，很多飽讀詩書卻不能做官的知識分子都免費到這裏傳播知識和思想。但由於改朝換代的關係，很快就荒廢，南宋時，朱熹在此地做官，想要重新煥發它的光彩，無奈政府不支持，所以就徹底廢棄了。1294年，元王朝的當地地方官王侯重修，石門書院才算還魂。鄭複初在當地政府的支持下重新裝修後，又鼓勵政府招聘老師，為前來的有為青年們講學。
劉伯溫正是聽說了這件事，所以一路小跑地來了。不過從劉伯溫到書院的表現來看，他來石門書院，隻是受了道教人傑地靈觀念的影響。他喜歡的不是石門書院，而是石門書院附近的景色。
石門書院建在道教十大洞天中排名第十的石門洞附近。既然能躋身十大洞天，石門洞當然有非凡之處——兩壁雙峰對峙，如同一扇大門。四周山崖環繞，如同城郭，再向裏就是大洞。洞北殿閣崢嶸，青鬆鬱鬱。洞的東南有數十丈高的瀑布，如果起風，你能看到瀑布隨風飄散，煞是好看。李白有句詩特意讚歎這道瀑布：“噴壁灑素雪，空蒙生晝夜”。石門洞中清淨幽深，和地下室一樣冬暖夏涼。
聖人說，聽別人講的知識遠不如自己悟出的知識更自得於心。許多偉大人物不是喜歡自學，而是因為他們明白一個求知的基本道理：別人講的知識再好，那也是別人的。如果和你的心不相符，你聽了有什麼用？如果和你的心相符，可那是別人的，不是你的。所以，想要有獨立思想，鍛造獨立意誌，必須要有自學的勇氣和能力。隻有通過自己的感悟得來的知識和思想，才是你自己的知識和思想。
劉伯溫從小就喜歡自學，並善於自學。這就可以使我們明白，為什麼鄭複初隻教了他一年，就撒手不管了。因為劉伯溫從他那裏得到理學的主旨後，就開始了自由發揮，自由發揮後的心得就如銅牆鐵壁，外來的知識無論如何都闖不進來了。
在石門書院，劉伯溫采用的也是自學方式，他的愛好像洪水一樣泛濫，在正統的理學外，一些被當時知識分子視為奇技淫巧、百無一用的宇宙學（陰陽），數學（八卦），化學（道家的煉丹），物理學（墨子的小孔成像、沈括對石油的認知），地質學（朱熹對化石的認知）以及日常生活學也在其列，他後來著作的《多能鄙事》就是這些學說的踐履。在石門書院這段日子，他還迷上了軍事學。
劉伯溫看了很多市麵上流行的軍事著作：《孫子兵法》《吳子兵法》《六韜》《司馬法》《三略》《尉繚子》《李衛公問對》《曆代兵製》，等等。
既然是自學，就無所謂課堂一說。劉伯溫常常逃課，跑到石門洞崖壁的一個洞裏去讀書。沒有人知道劉伯溫是如何發現那個洞的，洞口隻能容一人通過，深數十丈，高不見頂。傳說中，那個洞是一隻老白猿的房產，所以又叫白猿洞。
洞中原本黑暗潮濕，但當劉伯溫進去時，地麵的潮濕向四麵慢慢褪去，但仍然沒有光明，隻有瀑布反射進來的彩虹微弱的光。這難不倒劉伯溫，他早就從吳梅澗那裏學會了捕捉陽光。傳說他把那些陽光裝在一個不透明的罐子裏，一遇黑暗，罐子就發出和陽光一樣的光芒。
劉伯溫在別人的房子裏讀書，又不出租金，這讓人為他捏了把汗。劉伯溫大概也知道私闖他人的房子很危險，所以在身邊準備了棍棒，以防房子的主人突然出現咬他。但白猿一直沒有出現過，大概是又找到了新的房子。
就在別人的房子裏，傳奇的一幕發生了。這就是劉伯溫人生中的“偶獲天書”事件。
但很多宿命論專家認為，“偶獲”這個詞是虛無，應該說，劉伯溫命中注定要獲得天書，因為他是偉大人物，偉大人物注定了要有傳奇的經曆，而傳奇的經曆在他未生時就已經注定了。
也就是說，劉伯溫獲天書這件事隻是再重複了一遍老天的意思，其實它在命運中早已演繹過了。
這個傳奇故事是這樣開始的：有一天，劉伯溫正在山洞裏冥思苦想“以少勝多”的戰爭奧秘，但百思不得其解。那段時期，他把所有精力都放在軍事上。可能和他一直把白猿當成敵人有關，希望能在白猿突然出現時，用軍事手段對付它。
就在他絞盡腦汁思索時，突然，罐子失去了光芒，瀑布折射出的彩虹照到劉伯溫對麵的石壁上。正當他在納悶時，石壁像兩扇門一樣緩緩打開了。劉伯溫隻驚駭了一會兒，就躡手躡腳地走了過去，探頭向裏看。但裏麵漆黑一片，他什麼都看不見。不過卻能聽到鐵絞索的聲音，那聲音很憂傷，仿佛是一個大猴子的哭泣。
劉伯溫慢慢地退回來，抄起經常放在石桌邊的木棒，重新回到石壁前，探頭探腦了一陣，鐵絞索憂鬱的歎息聲不見了。他四周看了看，發現石壁上的植物正在慢慢地生長，發出歡快的嬉鬧聲。這新生給了他力量，他把長袍脫下，正要義無反顧地鑽進時，突然一個聲音傳來：“別進，裏麵毒氣深沉，小心有去無還。”
——據某些靈異專家解釋，這個人聲就是洞中那個白猿所發出。