徐光啟入閣為相的時間非常短暫，僅一年零幾個月，其中還有好幾個月身處病中。這一年多，徐光啟也曾一度有過大展雄圖的想法。比如崇禎六年（1633年）初的一天，崇禎皇帝和他說起準備讓他以首相的名義到前線巡邊，指揮戰鬥。他從朝中歸來後喜形於色，一夜都沒睡好，希望能在北邊疆場大顯身手。但是，在為相的大部分時間裏，徐光啟的內心是痛苦的，常常吟誦“一人計不用，萬裏空蕭條”的唐人詩句以自遣。此時朝中一批奸臣當道，對他處處掣肘，許多朝臣又都隻求自保，不願為國分憂，自己的正確主張反而得不到施行，國勢日見衰敗。另一方麵，他的同道好友又一個個先他而去，使徐光啟倍感寂寞，因此，他的閣老生涯在政治上經常是消沉的。
崇禎六年（1633年）三月，年已72歲的徐光啟多年的脾胃宿疾突然加重，接連數天不能進食，一吃就嘔吐，渾身疼痛，嚴重時還會昏厥。這使他深感自己的健康狀況已無法堅持工作，就向皇帝請病假在家調理，一直到四月才回閣視事。這年十月，徐光啟感到自己實在是病體難支，又一次上疏乞休。在生命的最後關頭，徐光啟仍堅持工作，盡力整理曆書的最後書稿。十月三十一日，徐光啟向皇帝上疏，預報第二年三月十四日將出現月食，詳細稟報了月食的時間和起複方位，還詳細彙報了曆書的編寫進展情況。十一月七日，徐光啟自感病情更加嚴重，寫信讓兒子徐驥速來京城，又上疏給皇帝，保舉了修曆有功人員，懇請皇帝給予獎賞。他特別提到了傳教士羅雅穀和湯若望，希望皇帝給予嘉賞，並賜給他們田宅，使他們有足夠的經濟能力能安心地為明政府工作。徐光啟上疏向崇禎皇帝報賬，交代了修曆的花費和物資的賬目結算情況。他又告誡在身邊侍奉他的孫子徐爾爵，讓孫子盡快抄錄《農政全書》，以便向皇帝進呈，完成自己的誌向。徐光啟的兒子徐驥追記父親的臨終遺言時說，父親“臨沒了了，隻以國家多故為念，一語不及於私”。就在這一天，崇禎六年十月初七（1633年11月8日），徐光啟帶著未完成的心願和對國事的滿腹憂慮，溘然長逝。
徐光啟去世的消息很快傳到宮內，崇禎皇帝對這位肱骨老臣的離去深感悲痛，宣布輟朝三天以示哀悼，追贈徐光啟為“少保”，贈諡號為“文定”。朝野上下，許多人見到訃告，都失聲痛哭。徐光啟逝世後，人們清理他的遺物，發現在他簡陋的鬥室裏，僅有一隻陳舊的木箱。打開箱子一看，裏麵有幾件破舊的衣服和一兩銀子，此外，便是大量的著作手稿。徐光啟的床上放著一隻冬天用來取暖的湯壺子，年頭長久，已經有了滲漏，以致破舊不堪的棉被漏下一個破洞。大臣們不禁感慨：“古來輔政大臣，廉潔如此，隻有徐公，別人誰也比不上！”有些正義的大臣將徐光啟“蓋棺之日，囊無餘資”的生活境況向崇禎皇帝作了彙報，請求朝廷給予其優厚的撫恤，以使那些貪汙受賄者聞之慚愧。崇禎皇帝當即派內官賞賜給徐家辦喪事所用物品及治喪銀兩等，又特派禮部尚書李康主持喪禮，並設專人護喪回到上海。
崇禎七年（1634年）年初，徐光啟的兒子徐驥扶柩南歸，將父親的靈柩暫厝於上海縣城南門外的雙園別墅。到了崇禎十四年（1641年），家人將徐光啟安葬於上海縣城西門外十餘裏的土山灣西北，即現在徐家彙的徐光啟墓地。因為徐光啟曾做過明朝的“閣老”，所以他的墓又稱為“閣老墳”。墓前有石人石馬、華表牌坊。光緒二十九年（1903年），徐光啟墓重加修葺，煥然一新。墓前石坊上的匾額曰“文武元勳”；兩邊的對聯是：“治曆明農百世師，經天緯地；出將入相一個臣，奮武揆文。”
這副對聯實在是對徐光啟一生事業的恰如其分的概括。徐光啟是明代後期“實學”思潮的倡導者。他旗幟鮮明地提倡經世致用，開一代風氣之先。在反對王陽明心學的“空疏”，主張回到“經世致用”的樸學方麵，徐光啟可以說是先行者。顧炎武、黃宗羲、王夫之等明末著名思想家主張經世致用，常被人們稱道，但開風氣之先的還是徐光啟。從明末複社的張溥、陳子龍到明清之際的一些啟蒙思想家的進步思想中，我們可以清楚地看到徐光啟對他們不同程度的影響。徐光啟提倡實學，提倡經世致用，積極介紹西方科學知識，在扭轉明末的“空疏”文風和學風方麵，有不可磨滅的貢獻。
徐光啟是明代中國向西方追求科學和真理的先行者，是明末溝通中西方文化交流的第一個重要人物。他生活的時代，是東西方科學文化發展競賽的重要時刻。徐光啟第一個意識到中國在科學技術的許多方麵已經落後，他麵對西方的挑戰，響亮地提出了學習西方、趕超西方的主張，在宣傳和介紹西方先進科學技術方麵，徐光啟有披荊斬棘的開創之功。徐光啟憂國憂民、改變祖國積貧積弱麵貌的強烈願望，驅使他堅持不懈，刻意追求。他好學不倦，即使身任宰輔，年逾古稀，仍然“目不停覽，手不停筆”。為了中華民族的興盛，為了科學文化的發展，徐光啟毫無保留地貢獻了自己的一生，成為那個時代的傑出人物。