就讀翰林院期間，徐光啟與客居北京的利瑪竇交往甚密。他時常布衣徒步，前往利瑪竇邸舍問學。利瑪竇還在羅馬時，就師從天主教的著名學者克拉維神父，學過數學、地理和天文學方麵的知識。到達中國後，他發現這個古老的東方國家地廣物豐，人口眾多，文化傳統曆史悠久，博大精深。他感到在中國傳教，如果采取在其他地區慣用的強硬方式，恐怕難以奏效，於是轉而推行一種學術傳教的路線，主動地介紹一些西方的科學知識到中國。他先是用三棱鏡、自鳴鍾、日晷儀之類的精巧玩藝喚起高官名士的好奇，接著又繪製了《萬國輿地圖》，介紹西方天文學知識。徐光啟在與利瑪竇的交談中，一再要求與之合作，把後者從羅馬帶來的西方科學書籍翻譯成漢語，以便更多的人能夠學習。在徐光啟的請求下，大概從1605年(萬曆三十二年)到1606年(萬曆三十四年)間開始，兩人開始合譯西方數學的經典著作，即歐幾裏得的《幾何原本》。
為什麼首先選擇《幾何原本》進行翻譯呢?徐光啟自己曾作過解釋。他認為，數學作為一門最基本的學問，就好比木匠的斧頭和尺子，是不可缺少的工具。而《幾何原本》又是數學的本原。它可以“窮方圓平直之情，盡規矩準繩之用”。其中的公理、公設雖不以直接以具體事物為對象，但它所蘊含的道理卻是一切科學技術必須遵循的。他借用前人“鴛鴦繡出從君看，不把金針度與人”的詩句，稱“金針度去從君用，未把鴛鴦繡與人”，而《原本》就是能繡出千百種鴛鴦的金針。因此，“舉世無一人不當學”，而且“百年之後必人人習之”。這就表明徐光啟對自然界的一切事物都表現為一定的數量關係的原理，和《原本》所體現的形式邏輯的思維法則，有了比較清楚的認識。徐光啟為翻譯《幾何原本》付出了艱巨的勞動。他每天下午三四點鍾前往利瑪竇寓所，由利瑪竇口授，他負責筆錄。翻譯中反複推敲，務求譯文準確，文詞通暢。當時楊廷筠、李之藻、葉向高、馮應京、曹於汴等著名學者，也參予了討論，質疑辯難，互相切磋。經過前後三次修訂，到第二年春天，終於譯成了《幾何原 本》前六卷。即使按今天的標準看，這次翻譯也是非常成功的。徐光啟在譯書過程中創立的一套幾何術語，如點、線、麵、直角、四邊形、平行線、相似、外切等，一直被沿用下來。
《幾何原本》譯畢付梓，徐光啟又與利瑪竇用同樣的方式譯出了《測量法義》初稿。徐光啟曆來重視水利，這時也向利瑪竇詢問西方水利設施和器械的情況，並從中受到啟發。徐光啟的好友李之藻曾從利瑪竇學習天文學，並運用西法進行實地測量，寫成了《渾憲通蓋圖說》一書。徐光啟亦參予了此書的修訂。1607年(萬曆三十五年)4月，徐光啟結束了翰林院為期三年的學習，授官翰林院檢討。5月，其父徐思誠病逝，徐光啟按慣例歸籍守製，回到上海。
守製期間，徐光啟仍致力於科學研究和農學試驗，他把已經譯成的《測量法義》加以整理，刪削定稿。隨後，又相繼撰成《測量異同》和《勾股義》。這三種書，都是對《幾何原本》的發揮和應用。在這幾種書裏，徐光啟運用西方幾何學的原理，對傳統數學的經典著作《周髀算經》、《九章算術》進行整理，發現傳統數學的缺陷是“隻言法，不言義”，即隻講求解的方法，不講為什麼這樣求解，從而初步揭示了傳統數學作為經驗型科學的本質特征，並由此萌生了創立“有理、有義、有法、有數”的科學體係的強烈願望。當然，作為一個講求實際的科學家，徐光啟的研究和著述，絕不單純是為了滿足自己的求知欲望，更是為了指導改造自然、征服自然的實踐活動。正像他在《勾股義序》中所說的，“西北治河，東南治水利，皆目前救時之至計。……此法終不可廢”。這些西方科學的成果，在生產實踐中可以發揮作用，產生效能。在此前後，徐光啟還幫助李之藻把根據克拉維《實用算術綱要》翻譯的《同文算指》整理成書。
1610年(萬曆三十八年)10月，徐光啟守製期滿，回到北京，恢複翰林院檢討原職。此前，徐光啟曾經計劃與利瑪竇共譯水法書，但當他回到北京時，利瑪竇已於當年4月去世，因而改請傳教士熊三拔口授。起初熊三拔表現出為難的神色，經徐光啟一再敦請，兩人才動手翻譯。這次翻譯沒有采取照本直譯的作法，而是結合我國已有的水利工具，隻選譯其中比較實用和確實先進的部分，一邊譯書一邊試驗，把製器和試驗的方法與結果都記錄下來。《泰西水法》一書具有極強的實用性和可操作性，對發展農田水利事業很有指導意義。為了呼應日益高漲的改曆輿論，徐光啟還把昔日聽熊三拔講授簡平儀構造與用途的筆記加以整理，編成《簡平儀說》刊行。
以徐光啟翻譯《幾何原本》、李之藻編譯《渾憲通蓋圖說》為發端，在晚明的學術界，翻譯西方科學書籍成為一時盛事，較有代表性的還有焦勖譯《火攻挈要》、王征譯《遠西奇器圖說》等書。此外，當時還譯介了一批歐洲宗教、哲學、邏輯學、語言學等方麵的書籍。自唐代大規模翻譯佛經以來，這是中外文化交流史上的第二次譯書高潮，而此次譯書涉及的領域之廣，科學意義之大，又是第一次譯書高潮無法比擬的。它在較高的層次上實現了中國和歐洲兩大文化體係的融彙與交流，使中國文化初步納入了世界文化發展的體係，為中國科學文化的發展注入新的活力與生機。徐光啟運用西方科技解釋農業生產，把傳統農學理論進一步係統化，有相當高的水平。不過，它們還停留在以比較抽象的哲理來闡釋農業生產現象，當時仍缺乏顯微鏡一類科學觀察實驗手段，難以深入探索農業生物內部的奧秘，形成建立在科學實驗基礎上的理論，這就不能不妨礙我國農學以後的進一步發展。
縱觀我國古代農書，在卷帙浩繁、體裁多樣、內容豐富深刻、流傳廣泛久遠等方麵，遠遠超過同時代的西歐。這是我們的祖先給我們也是給全人類留下的寶貴遺產。