正當徐光啟致力於農業科學研究之時，明朝政局發生了很大變化。聚居在我國東北地區的女真族不斷強大起來，萬曆四十四年（1616年），他們傑出的首領努爾哈赤建立了後金政權，並向南擴張。萬曆四十六年（1618年），後金攻占了明朝設在東北的重鎮撫順，接著又在廣寧大破萬餘明軍，明軍生還者不到十分之一二。明朝朝野上下十分震驚，禮部官員何宗彥向朝廷推薦了徐光啟，說他“素知兵略”，應急召回京商量防守事宜。
這樣的評價對徐光啟來說是當之無愧的。他曾大力宣傳“富國必以本業，強國必以正兵”，“本業”即發展農業生產，“正兵”即組織裝備精良的軍隊。在剛剛考入翰林院時，徐光啟便寫了《擬上安邊禦虜疏》，討論北方邊防問題，提出了一整套練兵籌餉和整頓邊防軍隊的辦法。他對明朝的邊患十分關注，曾在給老師焦竑的信中說：“我從小深為感憤倭寇的踐踏，家鄉塗炭，因而習讀兵書。我感到國家現在的危難，甚於倭寇入犯之時。”雖然這時的徐光啟患病在身，但一接到詔令，他就立刻趕回京城，參與對敵鬥爭。
但是，事態發展得比徐光啟想象的還要糟糕。明朝的腐敗已經到了非常嚴重的程度，和後金的戰事頻頻失利。萬曆四十七年（1619年），明朝政府派出的遼東經略楊鎬，帥四十萬大軍出關禦敵，卻幾乎全軍覆沒。消息傳到京城，平時喜歡誇誇其談、倡言救國的大臣們居然萬馬起喑，無一人獻出良策。這時的徐光啟實在忍無可忍，不顧自己人微言輕，在三個月內，接連給皇帝上了三道奏折。一方麵，他分析楊鎬的失敗是因為他根本不懂戰略戰術，四十萬大軍竟然分兵前進，削弱了自己的力量，給了敵人以可乘之機，另一方麵，徐光啟又提出了自己的合理建議，他主張：第一，要精求天下有勇有謀的戰士，集中起來進行訓練；第二，必須有專人製造精良的武器，配備給善戰的武士；第三，必須賞罰分明，號令整肅。這樣的軍隊，必能赴湯蹈火，所向無敵。除此之外，他還提出聯合朝鮮共同抵禦後金的戰略方案。可惜，迎接徐光啟的滿腔愛國憂國之情的卻是一盆冷水。昏庸的萬曆皇帝和他周圍的大臣對他的奏折一概不理，拖延了幾個月也沒有批複。直到八月份，在一些正直朝臣的輿論壓力下，朝廷才勉強下了一道旨令，命徐光啟“訓練新兵，防禦都城”。
接到旨意後，不明真相的徐光啟為自己曆年主張的“強國必以正兵”的願望即將實現而興奮異常。剛剛上任的他就撰寫了選兵練兵的具體規則，準備大幹一場。他預計在一兩年內練出一批精兵，三四年後徹底擊潰金兵，鞏固國防。
但徐光啟沒有想到，他的練兵之路充滿荊棘，困難重重。練兵衙門成立一個月來，從來無人過問，要兵無兵，要餉沒餉，連他的同事都看不下去，替他抱不平。到了第二年年初，徐光啟在給皇帝的奏折中訴苦：無兵無餉，瞻前顧後，簡直無可奈何。他還把自己比作被捆綁著四足的老牛病馬，又被人不斷敲擊著頭，一步都邁不動。
萬曆四十八年（1620年）四月，徐光啟好不容易弄到一點銀餉和兵械，便急急忙忙奔赴通州、昌平，開始選練新兵。雖然應征者很多，但大多數是貧困農民，身無完衣，麵有菜色。徐光啟親自對他們逐一檢查，一絲不苟，選出了數千名新兵。