1596年(萬曆二十四年)，徐光啟應擔任潯陽知州的同鄉趙風宇的約請，由韶州移住潯州，教授趙氏家館。幾年之內，徐光啟由上海到廣東，又由廣東到廣西，長途旅行，飽覽山川形勝，閱曆越來越豐富，文章也寫得越來越好，尤其擅長說理和抒情。當然，一個窮書生長途跋涉，其情形也是夠狼狽的，衣衫襤褸，全靠自己縫綴。次年春天，徐光啟遠上北京，參加順天府的鄉試。這次他不但考中了，而且還被取了頭名解元，名聲大振。說起這次考中，應當慶幸徐光啟遇上了名重一時的大學者焦。據說，初判時徐光啟仍是名落孫山。到發榜前二日，主考官焦竑還為沒能發現可取為第一名的人選歎息，當他看到從落選試卷中選送的徐光啟那一件，不由擊節讚賞，認定此為名士大儒，拔置第一。此番中舉，既靠徐光啟平素博覽群書，好學深思，凡六經百家之書，無不遍讀，能寫出文辭宏美、義理精深的好文章，也多虧焦竑慧眼識人，全力舉薦。此後，徐光啟一直視焦為恩師。中舉之後，徐光啟留在京師等候會試。1598年(萬曆二十六年)會試，徐光啟未能考中進士，於當年4月離京返鄉。這一年徐光啟已經37歲，卻在科舉的泥路上滾爬了20多個春秋。
翻譯西學，會通中西
徐光啟回到家鄉繼續以教書為業，同時更加刻苦地讀書學習。這個時候的徐光啟，對背誦章句已沒有多少興趣，而把關注的焦點轉移到現實生活方麵。他廣泛閱讀古今經史和科學典籍，研究曆代王朝政治的成敗得失，尋找富國強兵的良方。他在寫給老師焦竑的信中說到自己的心情。他說自己因感憤故裏屢 遭倭寇蹂躪，生靈塗碳，故於六經子史以外，也常研習兵法和農學。看到國家比南宋滅亡時還要衰弱十倍，因此每每對人談論富國強兵的方略。他認定，隻有重視農業才能使國家富足，隻有整飭軍備才能使國家強盛。關於徐光啟的這段讀書生活，與他一同讀書的程嘉燧曾有生動的記載：那時他們住在山中的一間小屋子裏，書案旁邊的瓦罐裏隻有米粥用以果腹，即便生活條件這樣艱苦，他們卻每天咀嚼詩書之精華，暢飲文章之美醪，撫琴吟唱，十分快樂。
因為事先看到了利瑪竇在肇慶繪製的《山海輿地圖》，對上麵提供的經緯度、赤道、五帶等地球知識饒有興趣，又仰慕利瑪竇的學識和為人，徐光啟於 1600年(萬曆二十八年)到南京拜訪了利瑪竇，聆聽他的議論，對他的博學多識留下深刻的印象。不久，利瑪竇前往北京向萬曆皇帝貢獻方物。徐光啟回到上海，繼續教書和讀書，並先後寫下了《毛詩六帖》、《淵源堂詩藝》、《芳蕤堂書藝》、《四書參同》、《方言轉注》、《讀書算》、《賦囿》等經學、書法、小學、詩藝方麵的著作十餘部。1603年 (萬曆三十一年)的秋天，徐光啟再往南京訪利瑪竇，因後者居留北京不遇，遂與主持南京教堂的郭居靜、羅如望兩人晤談。他讀了《天主實義》、《天主教要》等傳教著作，聽羅如望講了《十誡》等天主教的基本教義，觀看了宗教儀式，決意受洗入教，並取了教名“保祿”。徐光啟皈依天主教有多方麵的原因。明中期以後，由於封建皇帝的提倡和庇護，佛教和道教大行其道，泛濫成災，造成了學風的空疏敗壞。士大夫往往標榜清流，束書不觀，空談竟日，視實務為濁為俗，不思如何能對國計民生有所建樹。出身寒素而又飽經憂患的徐光啟對這種現象極為不滿，天主教的傳入使他產生了一種期冀，以為可以用天主教印證儒教，補益王化，救正佛法，即所謂的“易佛補儒”。西方傳教士傳授的科學知識對曆來學主實用的徐光啟也產生了極大的吸引力，他覺得入教或許對學習和掌握西方科學技術知識能有所裨益。徐光啟入教以後，開始了與傳教士合作翻譯西書，把西學介紹到中國的事業。不過徐光啟受洗入教，也抬高了天主教的身價，擴大了天主教的影響。此後，他與李之藻、楊廷筠並稱東南地區的“天主教三大柱石”。
1604年(萬曆三十二年)春，徐光啟再度赴京參加會試，終於考中第八十八名進士，並被考選為翰林院庶吉士，進入翰林院學習。當時的翰林院庶吉士，大概相當於今天的科學院研究生，是朝廷著意培養的高級人才。翰林院的館課主要是經史製藝對策之類。徐光啟除了學習館課而外，還讀了一些時務書籍。為了集中精力攻讀實用之學，他放棄了對詩詞書法的愛好，專心致誌地研習天文、兵法、農事、水利、工藝、數學等自然科學。他利用做館課的機會揭露了一些社會弊端，提出了自己的興革主張。如他在《題陶士行運甓圖》詩中寫道：“典午朝臣鮮尚賓，竟以曠達相矜誇。娓娓玄談未終席，紛紛胡騎亂如麻。白玉麈尾黃金埒，甕間酒龍聲嗑嗑。誰使神州陸沉者，空複新亭淚成血。”詩中借東晉君臣空談誤國的舊事，諷諭當時彌漫於學壇的空疏之風。
流傳至今的徐光啟館課作品中，《海防迂說》、《漕河議》、《處置宗祿查核邊餉議》、《擬上安邊禦虜疏》四篇文章，集中反映他在政治、經濟、軍事等方麵的改革思想。《海防迂說》針對倭寇為害東南海疆的現狀，考察了倭患的發展曆史和沿海富商豪族與倭寇勾結的情況，提出“官市不開，私市不止”的見解，主張正式與日本通商。這樣，一來可以使中國的絲帛等貨物找到市場；二來掌握了主動權，日人來市則予之，來寇則殲之；三來可隨時絕市，製禦倭寇。《擬上安邊禦虜疏》則主要是針對北部邊境來自韃靼、瓦勒等部族的威脅的。疏中提出了一套練兵籌餉的辦法，包括戰略上先求可以守，次求可以戰，再求可以大戰；人員上選練十萬精兵，作為野戰的主力；戰備上務農貴粟，實行屯田等等。《處置宗祿查核邊餉疏》指出宗室俸祿已成為國家財政的巨大負擔，建議把實物俸祿改為封給土地，使其“自生粟帛而衣食之”。《漕河議》提出南糧北運，縻費巨大，應該把黃河、淮河的水用來種植穀物，減輕漕運負擔。治理運河，應當以科學測量為依據，根據地形水勢加以疏導。徐光啟的這些建議，雖不乏真知灼見，但並未受到統治者特別的重視。