在利瑪竇傳教路線圖上，有幾個重要的地方：肇慶、韶州、南昌、南京和北京，所到之處他都修建了教堂。利瑪竇到達澳門後不久，在同伴羅明堅(Michele Ruggleri)的努力下，獲得了在肇慶的居住權。為了便於活動，他們研究了明朝規定，發現有三種外國人是可以進入中國內地的：一是前來朝貢的使者；二是隨貢使而來的商人；三是仰慕中國文化政治而來的皈依者。他們選擇了第三種，仿效佛教的僧人，穿上了僧袍。在利瑪竇對中國的初步印象中，和尚的地位與西方的牧師相差無幾。
在此後的一年裏，利瑪竇的經曆徹底改變了他對僧人的看法。在韶州時，一群醉酒之人闖進傳教士的住處搗亂，致使利瑪竇腳部受傷。肇事者事後惡人先告狀，將傳教士們告到衙門。衙門裏一個職位較低的官吏接辦了這個案子，結果痛打了教士的兩個仆人。這件事讓利瑪竇深感將佛僧引為同類不利於傳教。在征得澳門耶穌會主教同意後，傳教士們換上了儒家學者衣裝，以便能夠在中國學者中談笑風生。然而，利瑪竇對自己的努力仍不滿足，他曾用文字表達了他對不能改變自己眼睛的顏色和鼻子的高度，從而使自己更徹底地中國化而感到遺憾。
通過深入了解，利瑪竇發現中國有身份的人不但有本名，而且還有字號，因此，他入鄉隨俗，為自己取字“清泰”，號“西江”，又號“大西域山人”。後來，朋友河槽總督劉東又給他起了個號叫“西泰”，表示他來自遙遠的西方。來到中國的西方人士按漢人習慣為自己取字號，就始於利瑪竇，這個習慣一直保持到現在。比如利瑪竇400年後的同胞，現任意大利駐華大使 Riccardo Sessa，就根據自己姓氏的讀音起了中文名字，叫謝颯。
利瑪竇在華一麵學習中國文化，一麵接近中國的上流階層。他用三年時間將《四書》翻譯成拉丁文，希望了解中國人的信仰，以便尋找一個向中國人傳教的切入點。利瑪竇每到一處，都盡力和當地的士大夫、官員搞好關係，他將帶來的鍾表、三棱鏡、聖母像、地圖等展示給他們。為了迎合中國人的觀念，利瑪竇還將帶來的世界地圖重新製作，將中國放在了地圖中央，這就是中國第一張世界地圖——《山海輿地圖》。
敲開北京的大門
利瑪竇傳教的努力成果十分顯著，他發現儒學的許多觀點與基督教的基本教義並不衝突，便將二者揉和在一起，用中國人易於接受的方式進行傳教，而孔子便成為繼亞裏士多德和西塞羅之後第三位構成其哲學觀的人。利瑪竇善於在中國的典籍中尋找與《聖經》內容相對應的概念，他借用四書五經中提到的“上帝”一詞來翻譯“God”，被後人沿用至今。1584年，利瑪竇在中國朋友的幫助下，用適合中國百姓水平的文體改寫了一本關於基督教教義的書。此書原本叫《天主實錄》，是利瑪竇的教友羅明堅用拉丁文寫的一本著作。利瑪竇采用中國人發問、西方人作答的形式對該書進行了翻譯，並做了修訂和補充，取名《新編西竺國天主實錄》，使之成為中國天主教第一本教理書籍。
智力傳教是利瑪竇秉承的策略。他認為，傳教工作要謹慎、不張揚，用好的書籍和充滿智慧的辯論向學者證明他們宣傳的宗教沒有害處，會給帝國帶來好的朝政和平安的局麵。在發展教眾時，要強調質量而不是數量。在利瑪竇的眾多中國基督教弟子中，最著名的是徐光啟。1596年，徐光啟在韶州見到了利瑪竇的第一版世界地圖，便對西方事物產生了興趣。1600年，徐光啟與利瑪竇在南京會麵，利瑪竇年長徐光啟10歲，兩人一見如故。徐光啟傾慕利瑪竇的見識與博學，利瑪竇則仰慕徐光啟的儒雅和才華，稱他是“海內博物通達君子”。包括室內各種奇形怪狀的科學儀器，利瑪竇帶來的各種西方科學典籍，都深深吸引了徐光啟。第一次會麵，利瑪竇教給徐光啟一些基本的關於天主的概念。三年後，徐光啟在南京受洗，教名保祿(Paul)，隨後，他的全家人都加入了天主教。
麵見中國皇帝是利瑪竇一生最大的願望，但卻最終未能實現。1592年，利瑪竇第一次從韶州向北京進發，正遇日本武將豐臣秀吉侵入朝鮮，北京一片恐慌，不許洋人入城，一行人隻好返回南京。1596年，好友王弘誨赴京任職，隨行的利瑪竇發現外國人在北京並不受歡迎，無奈兩個月後南返。1601年，利瑪竇第二次進入北京，雖然一路坎坷，但終於獲得進宮的機會。利瑪竇呈送給皇帝的禮物有：兩幅油畫，一本祈禱書，一個十字架形狀的聖物箱，兩副玻璃棱鏡，一架鐵弦琴，兩座自鳴鍾。當時的萬曆皇帝有許多年不上朝了，他曾發誓除了太監和嬪妃不見任何人。為了能看到這個外國人而又不打破自己定的規矩，萬曆命人給利瑪竇畫了一幅畫。這樣，利瑪竇雖最終未能見到皇帝，但由於進貢有功，被恩準留在北京，修建了天主教堂。利瑪竇每月可得到12兩俸銀的補助，並成為朝野上下一致尊重的人物，有時忙於接見客人連飯都顧不得吃。利瑪竇在給家人的信中寫道：我已不太會用意大利語寫作了，我快成中國人了。
在經曆了長期的忍耐和不懈的努力後，利瑪竇最終敲開了北京的大門，一位曆史學家曾評論說：從未見過這樣的傳教者，用如此勇敢、執著和機敏，並且運用了世俗的處世方式，投身於一個偉大的目標。