劉基，字伯溫，浙江青田人，生於至大四年（1311），其家庭為一耕讀傳家的正統地主家庭，浙江百乘以後就成為文化教育十分發達、才傑俊秀迭出的地方，素有“千山千水千秀才”之稱。劉基的祖先原是豐沛人氏，在宋為官，後隨南宋南遷，落腳浙江青田，到劉基的祖父這一代，還做南宋的太學上舍，並且博學多智，通曉天文地理，為人正直仗義，曾經組織過反元起義。劉基出身於這樣一個較有名望的家族，自小耳濡目染，樹立了建功立業的大誌，也造就了他剛正不阿、嫉惡如仇的性格。
幼年時，劉基聰慧異常，極有心計。傳言裏中一牧童丟失主人之牛，上下尋之不見。若牛真的丟失，牧童命將不保。劉基三尺黃口小兒之軀，從容與言，讓牧童尋得一牛尾，插入淺溪之中，然後稟牛的主人，說牛已鑽入河底，驅之不出，災禍便可免除。牧童依劉基之言做了，主人不信，到河邊一看，果見一牛尾斜露出水麵，拽之不出。側耳聽之，河底似有牛的叫聲，無奈，隻得不問牧童的過錯。從此以後，鄉人到處傳頌，說劉家出了個才智雙全的神童。其父劉爚見兒子極有才氣，更是延師擇教，悉心培養而不惜資財。劉基入館之後，並不十分用心，但所學書本，過目成誦，且能善解老師之意。凡教過他的先生，都以有這樣一個才華出眾的弟子而自豪。一次，小夥伴們談及將來誌向，劉基竟以天下太平作為成年後的追求，以致他的啟蒙老師、在當地小有名氣的鄭複初曾不無稱讚地對其父劉爚說：“尊祖上積德行善，致有如此一個非凡的兒子。聽其言語，觀其行動，據我多年經驗，不是誇口，此子長成之後，必為輔佐真主之人。貴府上幾代人的功名，將來都要應驗在他一人身是了。”劉父聽了以後，心中很是高興，從此更加用心誘導，為他講述天下形勢，創造條件，讓他閱讀大量書籍，培養他辨別是非和解決問題的能力。鑒於當時天下紛戰、戰亂不息的局勢，劉父還讓兒子瀏覽諸如《孫子兵法》、《百戰韜略》等一類軍事著作，以便有朝一日能夠輔佐君主，平息戰亂，救民於水火之中。
無至順年（公元1333年），劉基23歲。經過了幾番科場篩選，他少年得誌，中了進士。依照登科授官的舊例，劉基在中了進士後馬上被有司除為江蘇高安縣丞。這樣，劉基在青少年時期就已打下了極為寬厚紮實的知識功底，為他以後在政治和軍事領域裏馳聘縱橫作好了知識上的準備。
但劉基的青年時期是十分坎坷曲折的。他在出任江西高安縣丞期間，元朝的政局十分動蕩。一方麵是統治者橫征暴斂，醉生夢死；一方麵是農民起義的烽火遍地燃起。在這種情況下，有識之士或是心懷觀望，尋找時機以圖起事，或是幹脆投入起義軍中，極少有人為元朝的統治者賣命。劉基也是這樣，他雖在做一個輔佐縣令的小官，但他並不是死心塌地地為元朝著想，而是十分注意搜集風土人情，了解社會時事。當然，身在元朝吏籍之中，他也不能不例行公事，做一些應付門麵的事，但他決不為虎作倀，助紂為虐，而是以一個正直知識分子的良心去申張正義。在當高安縣丞時，他曾受命複審過一樁人命案，初審裁定者是一個極有權勢的蒙古貴族，但原告一直不服，連連上訴，經過勘查，劉基認為初審有誤，應定為蓄意謀殺。經過劉基的努力爭取，終於使冤情大白。這件事為普通百姓所讚揚，但卻為當權者所不容，不久，劉基就因別人的誣陷而另調他任。劉基實在看不慣官場的貪贓枉法、阿諛奉承，一氣之下，棄官回家，於至元六年（1340）回到青田老家，做起隱士來。
鑒於劉基名聲太大，有口皆碑，故三年之後，有人極力向元建議，起用劉基，以彰朝廷用賢之德，使天下歸心。獲準後，劉基被任命為浙江行省儒學副提舉，主管三年一度的科舉考試。劉基走馬上行後，便以身作則，整頓學風，教育部屬要耿正廉明，不受任何幹擾，為朝廷選賢任能。其結果自然是得罪了許多人，很多人彈劾他超越職責範圍多管事。死心塌地效忠於元蒙朝廷的劉基又一次憤然辭官。
至正十一年（1351）前後，叛軍方國珍兄弟時降時反，占據著溫州、台州、慶元等路，在海上出沒無常，很難剿滅，也更加深了沿海一帶百姓的災難。元朝官吏自己無能，就又想起劉基是一人才，便把他任命為浙東元帥府都事，讓他想法剿滅方國珍。劉基兩次辭官，本不願再去與貪官汙吏為伍，但又想隻是剿滅匪寇，也就勉強應允。一到任上，劉基就提出了自己的見解，他認為，方國珍兄弟反降無常，目的無非是為了向朝廷要挾，索取高官厚祿。劉基反對招安的政策，堅決主張消滅。他分析了當時的情況，主張實行分化瓦解之策，即隻拿方國珍兄弟，餘者不問，此布告一出，方國珍的軍心立刻不穩。原來，方國珍多行不義，其部下多是被他脅迫，本不願為他賣命，見了布告，就想離之而去。方國珍十分驚慌，便托人給劉基送去了許多財物，請求他改變策略，劉基堅決不從。方國珍無法，隻好轉而賄賂別的高級官員，沒想到一舉成功，方國珍再次接受了招安。這也罷了，氣人的是劉基挨了一頓訓斥，說他是擅作威福，傷了朝廷愛民好仁之心。劉基這次真的心灰意冷了，他對元朝徹底失去了信心，他再也不願在官場混下去，哪怕是借此為民做些好事他也不幹了。至正十八年（1358），他第三次辭官，又回到了青田老家。