進入翰林院的徐光啟，生活和學習條件得到了大大的改善，不必為養家糊口而東奔西走。他把自己旺盛的精力投入到學習中，學那些“治國平天下”的學問，學那些富國強兵的經世致用之學。同時，思想敏銳的徐光啟，決定利用利瑪竇也在北京的機會，向他請教西方的科學技術。
徐光啟在翰林院攻讀之餘，常常徒步到利瑪竇的住處去，向他請教西方科學，求學態度十分真誠。後來，徐光啟索性在教堂邊租了一間房子住，以便於向利瑪竇請教。他在翰林院當庶吉士這三年，幾乎天天與利瑪竇見麵討論學問。除了天主教教義，二人談得最多的便是西方的科學技術發展情況。徐光啟向利瑪竇學習的範圍很廣，西洋的天文、曆法、數學、火器，甚至西方邏輯學等，隻要是利瑪竇能教的，他都有興趣學習。徐光啟把利瑪竇的學問歸納為兩大類，大的是“修身事天”，即關於天主教教義的知識；小的是“格物窮理”，實際上是指自然科學知識，徐光啟稱之為“小學”，從後者又派生出數學。徐光啟自稱竭盡全力“傳其小者”，可見他的主要興趣，仍是在西方的自然科學。
在與利瑪竇交談的過程中，徐光啟認識到了數學在眾多學問中的重要作用。他認為，有了數學做根基，別的科學研究都會觸類旁通。他打了個比方：“數學好比工人蓋房子時用的斧頭和尺子，而天文、曆法等其他科學知識猶如蓋房子時用的其他器具，倘若連斧子、尺子都還沒有，其他器具的使用，便無從談起了。”所以，徐光啟主張先翻譯西方的一本基礎性的數學讀本，幾經考慮，他最終選擇了《幾何原本》，並認為：“此書未譯，則他書俱不可得論。”
為什麼會選擇這本書呢？原來《幾何原本》是古希臘的一部數學教科書，公元前三百年前後由古希臘數學家歐幾裏得著成。這本書邏輯推理性強，結構科學嚴謹，集幾何學的大成，是對古希臘數學的總結和升華，在西方被認為是用數學書寫形式和思維訓練的經典著作。作為歐洲中世紀一本最流行的數學名著，《幾何原本》曾被譯為阿拉伯文、拉丁文等各種文字譯本，是世界上除了《聖經》之外被翻譯得最多的一種著作。利瑪竇在羅馬神學院的老師、德國數學家克拉維曾將拉丁文本加以注釋說明，題為《歐幾裏得原本》。利瑪竇帶到北京來的，就是這本。
利瑪竇初到中國之時，就有過要翻譯《幾何原本》的念頭，但礙於困難，數次動筆又數次停筆，深知其中的甘苦。當徐光啟提出要翻譯此書時，利瑪竇詳細敘述了翻譯的實際困難和自己的幾次失敗經過。他告訴徐光啟：中國和西方語法不同，詞彙不同，首次翻譯拉丁文的數學書，許多專用名詞在漢語中都沒有現成的，無成規可循。利瑪竇認為自己的漢語底子雖然不錯，照著原本宣講，還勉強可以講明白，但要逐字逐句地翻譯，就非常晦澀，讓人很難理解了。
麵對猶豫不決的利瑪竇，徐光啟信心十足地說：“我們的祖先有一句名言：‘一物不知，儒者之恥’。既然我知道世界上有這本書，又遇到你這位老師可以隨時請教，怎麼能知難而退，讓這本書在我輩手中失傳呢？”他還豪邁地表示，“如果害怕困難，困難就會越來越大；迎著困難而上，困難反而會越來越小，隻要不怕困難，這本書一定可以翻譯成功。”在徐光啟的再三請求下，利瑪竇終於同意合作翻譯《幾何原本》了。
萬曆三十四年（1606年）秋，二人正式合作譯書。徐光啟每天下午三四點鍾完成翰林院的功課之後，就會趕到利瑪竇那裏，風雨無阻。利瑪竇一句句地講解著書上的內容，有時，他還要停頓下來，皺著眉頭，為尋找合適的說法而對書沉思。徐光啟則一句句地記錄，遇到不明白的地方，還要虛心地詢問。北京秋冬的夜晚，又長又冷，但二人的室內常常出現熱烈討論的場麵。許多數學上的專用名詞，如直角、銳角、鈍角等，在漢語中原本是沒有的，經過兩個人多次推敲，才確定下來。許多章節，兩個人都反複重譯，力求文字準確妥帖，通俗易懂。直到夜深了，徐光啟才冒著凜冽的寒風，帶著譯稿回家，此時的街上已萬籟俱寂。回到自己的寓所之後，徐光啟還要再把當天的譯稿加以整理、修改、潤色，不知不覺已工作到半夜。