正当徐光启致力于农业科学研究之时，明朝政局发生了很大变化。聚居在我国东北地区的女真族不断强大起来，万历四十四年（1616年），他们杰出的首领努尔哈赤建立了后金政权，并向南扩张。万历四十六年（1618年），后金攻占了明朝设在东北的重镇抚顺，接着又在广宁大破万余明军，明军生还者不到十分之一二。明朝朝野上下十分震惊，礼部官员何宗彦向朝廷推荐了徐光启，说他“素知兵略”，应急召回京商量防守事宜。
这样的评价对徐光启来说是当之无愧的。他曾大力宣传“富国必以本业，强国必以正兵”，“本业”即发展农业生产，“正兵”即组织装备精良的军队。在刚刚考入翰林院时，徐光启便写了《拟上安边御虏疏》，讨论北方边防问题，提出了一整套练兵筹饷和整顿边防军队的办法。他对明朝的边患十分关注，曾在给老师焦竑的信中说：“我从小深为感愤倭寇的践踏，家乡涂炭，因而习读兵书。我感到国家现在的危难，甚于倭寇入犯之时。”虽然这时的徐光启患病在身，但一接到诏令，他就立刻赶回京城，参与对敌斗争。
但是，事态发展得比徐光启想象的还要糟糕。明朝的腐败已经到了非常严重的程度，和后金的战事频频失利。万历四十七年（1619年），明朝政府派出的辽东经略杨镐，帅四十万大军出关御敌，却几乎全军覆没。消息传到京城，平时喜欢夸夸其谈、倡言救国的大臣们居然万马起喑，无一人献出良策。这时的徐光启实在忍无可忍，不顾自己人微言轻，在三个月内，接连给皇帝上了三道奏折。一方面，他分析杨镐的失败是因为他根本不懂战略战术，四十万大军竟然分兵前进，削弱了自己的力量，给了敌人以可乘之机，另一方面，徐光启又提出了自己的合理建议，他主张：第一，要精求天下有勇有谋的战士，集中起来进行训练；第二，必须有专人制造精良的武器，配备给善战的武士；第三，必须赏罚分明，号令整肃。这样的军队，必能赴汤蹈火，所向无敌。除此之外，他还提出联合朝鲜共同抵御后金的战略方案。可惜，迎接徐光启的满腔爱国忧国之情的却是一盆冷水。昏庸的万历皇帝和他周围的大臣对他的奏折一概不理，拖延了几个月也没有批复。直到八月份，在一些正直朝臣的舆论压力下，朝廷才勉强下了一道旨令，命徐光启“训练新兵，防御都城”。
接到旨意后，不明真相的徐光启为自己历年主张的“强国必以正兵”的愿望即将实现而兴奋异常。刚刚上任的他就撰写了选兵练兵的具体规则，准备大干一场。他预计在一两年内练出一批精兵，三四年后彻底击溃金兵，巩固国防。
但徐光启没有想到，他的练兵之路充满荆棘，困难重重。练兵衙门成立一个月来，从来无人过问，要兵无兵，要饷没饷，连他的同事都看不下去，替他抱不平。到了第二年年初，徐光启在给皇帝的奏折中诉苦：无兵无饷，瞻前顾后，简直无可奈何。他还把自己比作被捆绑着四足的老牛病马，又被人不断敲击着头，一步都迈不动。
万历四十八年（1620年）四月，徐光启好不容易弄到一点银饷和兵械，便急急忙忙奔赴通州、昌平，开始选练新兵。虽然应征者很多，但大多数是贫困农民，身无完衣，面有菜色。徐光启亲自对他们逐一检查，一丝不苟，选出了数千名新兵。
在几个月的练兵过程中，徐光启风餐露宿，辛苦备至。他一遍又一遍地给新兵讲授练兵规则，事必躬亲地做示范动作，常常累得汗流浃背，头晕目眩，终于练出了一支精悍的队伍。徐光启培养的士兵中有三千多名后来被拉到辽东作战。在与后金的战争中，唯有徐光启练的这支军队“足当一面”。人们由此感慨说，假如能由徐公主管当年军事，明朝打败后金、恢复辽东是完全可能的。
八月，万历皇帝驾崩，他的孙子朱由校继位，改元天启。这位少年天子整天嬉戏，朝政大权落在宦官魏忠贤的手中。这位历史上著名的奸臣专横跋扈，联合朝臣中的小人陷害贤良，无恶不作，把国家弄得乌烟瘴气。徐光启眼见朝政日益腐败，感到练兵无望，便托病辞官，回天津务农了。
这时，后金渐渐向明朝进逼。天启元年五月，后金军占领了沈阳，又向明军重兵把守的辽阳进攻。战斗中，明朝辽东经略袁应泰殉国，辽阳失守，后金军占领了辽东全境。明政府这才又想起了徐光启，于当年六月再三催促他回京。
徐光启又一次义无反顾地回京复职了。在同西方传教士长期接触中，深感到西洋火炮是一种杀伤力很强的锐利武器。他认为，要速胜后金，必得从精良的武器入手，而西洋火炮实为重要一环，便建议朝廷派能手仿制西洋火炮。早在通州练兵时，徐光启就曾委托自己的朋友李之藻到澳门购买西洋火炮。李之藻凑了一笔钱，在澳门买了四门火炮，还聘请了精通技术的欧洲人和翻译。但不久徐光启就被迫辞职，练兵中止，李之藻怕这些火炮落到其他官员手中，不受重视，而变成废物，就暂时把火炮存放在江西。这一次徐光启复职主持练兵，李之藻便让自己的学生将这四门火炮运回京城，还让学生写了一本《西洋火攻图说》作为使用说明。
踌躇满志的徐光启向朝廷提出了仿造火炮和建造炮台的计划，然而一些腐败守旧的官僚纷纷指责徐光启购买、仿制西洋火器是“开门揖盗”“引狼入室”，群起诽谤、阻挠徐光启的计划，终于使之因缺乏经费而搁浅。加上皇帝昏庸，以魏忠贤为首的阉党把持朝政，徐光启不愿受他们的笼络而与之同流合污，便又一次辞职回到家乡上海。但值得一提的是，由澳门运来的四门火炮在对后金的战事中发挥了极大的威力。天启六年（1626年）宁远之战中，袁崇焕用运来前线的西洋火炮几次击退了后金军队，后金首领努尔哈赤在炮火中受了重伤，旋即身亡，后金也暂时停止了向明朝的进攻。这次激战中，有一门西洋火炮立功最多，被封为“安边靖虏镇国大将军”。
虽然励精图治的崇祯皇帝于天启七年（1627年）继位，恢复了徐光启等正直官员的官职，无奈明朝已是日薄西山，病入膏肓，败亡之势无可挽回。徐光启计划建立一支精锐的火器营，却因为将领孔有德拥兵叛变归顺后金而宣告失败，他在军事上的抱负与才能，终究未能得到施展。