起初，南北朝大詩人、永嘉太守謝靈運來到這裏遊玩，認為遊玩到石門洞是“東南第一勝事”，後來陸續有人也來到石門洞遊玩，但石門洞基本上是未開發之地，渺無人煙，一片荒涼。直到北宋皇佑年間，清靜幽深、冬暖夏涼的石門洞才熱鬧起來，成為了真正的名勝之地。
石門書院建於唐天寶三年（744年），位於青田縣西七十裏的石門山麓，與當時的麗正書院、集賢殿書院一樣，都類似於宋代館閣，並非是私人講學的場所。書院講學之風，開始於唐代，興盛於宋代，到了元代依然非常盛行。
可以說，這裏不是世外桃源，勝似世外桃源，是一個讀書做學問的絕佳場所，心曠神怡的劉基開始把精力集中在了學業上。但讀書是一件苦差事，多少人因為不能忍受清苦和枯燥寂寞而半途而廢。劉基不是聖人，他自然也要經曆這種折磨，有一個傳說說得合情合理。
話說劉基在石門書院讀書讀煩了，實在靜不下心來，便經常流連山水，把學業置於腦後。
有一天，劉基又到鶴溪邊玩耍，突然傳來棒槌擊打之聲。遠遠望去，見有一位姑娘正在浣紗，在她麵前那紗堆得像小山一樣高。
劉基納悶了，這年輕女子是從哪裏冒出來的啊？怎麼以前就沒見過呢？那麼多的紗要洗到什麼時候才能洗完呢？就在劉基思索之際，飄來姑娘悅耳的歌聲：
天下沒有浣紗女，人間哪有衣暖身！
沒有百溫不厭者，哪有高深學問人。
鐵杵磨針為至理，問君攻書可專心？
意思是說，沒有我們洗衣服的女人，人們哪裏會有溫暖幹淨的衣服穿。如果不刻苦學習，哪會成為學問高深的人？鐵杵磨針是人間真理，你讀書專心嗎？
唱完歌後，那姑娘就突然不見了。這有點嚇到劉基了，好端端的一個人怎麼說不見就不見了呢？細細品味這位姑娘所唱歌的含義，劉基深受觸動。難道是神仙姐姐在告誡自己嗎？愧疚難當的他再也不遊山玩水了，一路小跑到石門書院讀書去了，立誌要學有所成。
從此之後，劉基不再貪玩，常常挑燈夜讀。不管是遠古神話，還是孔孟之道，他都一一拿來研讀數遍。古人的治國之要，帝王霸業的血雨腥風，百姓的揭竿而起等，他都如饑似渴地攻讀不止。
朝代的更迭，曆史的演進是人力所不能阻擋的，雖然他留戀大宋，但元朝的建立是勢不可擋的，既然生在元朝，那麼就得接受元朝，起碼元朝結束了中國幾百年南北對峙的局麵，完成了統一。劉基不再迷茫和徘徊，他慢慢找到了方向，麵對現實、勤學苦讀。踏入仕途、興邦治國，成了他奮鬥的目標。
既然有了方向，劉基的青春便不再迷茫，抱定入仕的他學習更加刻苦，涉獵的範圍更加廣泛，特別是把兵書也列入了閱讀的範疇，這為他以後投筆從戎奠定了良好的基礎。
起初，南北朝大詩人、永嘉太守謝靈運來到這裏遊玩，認為遊玩到石門洞是“東南第一勝事”，後來陸續有人也來到石門洞遊玩，但石門洞基本上是未開發之地，渺無人煙，一片荒涼。直到北宋皇佑年間，清靜幽深、冬暖夏涼的石門洞才熱鬧起來，成為了真正的名勝之地。