景炎元年（1276年）七月十三日，文天祥到达南剑州（今福建南平），这是闽北军事要地，素有“八闽屏障”的称号。文天祥在这里组织督府军，来投效的既有富有谋略的人士，也有久历戎旅的战将。开府南剑，规模、声势比在赣州组织勤王军还要大得多。十月，塔出、李恒率领的元军连陷江西许多州县，朝廷命文天祥出兵汀州。十一月，督府人员大都来到汀州，文天祥做了部署，派遣赵时赏、赵孟荣取道石城，攻克宁都；派吴浚驻屯瑞金，相机攻取雩都；刘洙在江西策应；邹飘在宁都起义，里应外合。不幸邹飘起义失败，几个首领遇难，计划遇到挫折。
这时间刺罕、董文炳率领元军越仙霞岭进入福建，陷建宁府（今福建建瓯），南剑被围。知南剑州王积翁弃城逃到福安府（即福州，这时升为府），南剑落入元军手中。南剑沦陷，行都福安失去屏藩，受到很大威胁。这时宋军尚有十七万人，民兵三十万，还有战斗经验丰富的淮兵一万。如果有得力将领指挥，有正确的战略战术，和元军在闽江中游决战，谁胜谁负还难预料。但朝廷无人下这个决心，陈宜中、张世杰惊惶失措，匆匆护送端宗和卫王登舟入海，福安随即陷落。此后，南宋小朝廷设在船上，成为海上的流亡政府。起先船泊泉州港。泉州势力最大的是阿刺伯商人蒲寿庚。他居住中国几十年，当上市舶司使，看到元军势大，于是投降了元军。南宋船舰在泉州站不住脚，开向广东潮州，不久又移师惠州甲子门（今海丰县东面海口）。从此南宋政府再没有在大陆上行使过中央政府的权力。闽北、闽东、闽南相继陷落后，江西局势也继续恶化，这给处于闽西的文天祥增加了很多困难。元军统帅李恒了解了文天祥的困境，派降将吴浚来劝降；文天祥宣布吴浚的罪行，果断地把他处死。督府军中也有一些人动摇，文天祥正以军法，局面才稳定下来。
景炎二年（1277年）二月，文天祥率督府军移屯梅州（今广东梅县）。五月，经过一番整顿后，主力越过梅岭，开展收复江西的战役。勤王军旧部和各地义民纷纷起来和督府军相呼应，江西的抗元斗争掀起了高潮。乐安人何时招集一支义军攻克了崇仁县。文天祥的大妹夫吉州龙泉县令孙桌组织本县人起事，收复了县城。他的另一个妹夫彭震龙收复永新县城。攸县人吴希爽等在湘赣边境起义，攻克袁州萍乡县。在这个有利形势下，文天祥率主力一举攻克了赣州会昌县。接着又取得了雩都大捷，并乘胜攻克兴国县，移督府于兴国。一连串的胜利，对各地义兵鼓舞很大。分宁、武宁、建昌三县豪杰派人来要求文天祥指挥；临川、洪州、袁州、瑞州义兵也来请求受督府节制，抗元声势越来越大。文天祥对军事作了一番部署：派遣督府参谋张汴率领主力部队直逼赣州城，邹枫率赣县义兵攻永丰、吉水，黎贵达率吉州所属各县义兵收复泰和。这时赣州所属各县已全部克复，元军被困守在赣州孤城之中，吉州所属八县恢复了四个县。督府军大有席卷赣南之势。湖南的抗元斗争也日趋激烈，衡山、湘潭、攸县、新化、安化、益阳、宁乡等县，都被当地义军攻克。
元军从襄阳东下以后，没有遇到过这样的军民联合抵抗的局面。元军非常紧张，立即采取对策，开展大规模的攻势。八月间，李恒率精锐部队兼程来赣南阻遏宋军的攻势。黎贵达率领督府军一千多人和民兵数千在泰和同元军遭遇，民兵没有作战经验，很快就溃散了。邹飘在水平聚集兵民数万，也为元军所败。督府军都是步兵，元军以铁骑冲击，往往很难抵抗。数万军队，经过几次战斗，已被击溃大半。在兴国的督府，兵力不多，文天祥只好带着他们撤退。李恒在背后紧紧追赶，文天祥且战且退，张汴、赵时赏、刘洙等将领都壮烈牺牲。督府军几乎全军覆没。
文天祥在江西失败的同时，南宋流亡政府从惠州甲子门转移到浅湾（今广东饶平南澳岛）。元军水兵进攻浅湾，张世杰率部和元军进行一场恶战，没能挫败元军的攻势。陈宜中、陆秀夫、张世杰护卫端宗先后逃到秀山（珠江虎门内的虎头山）、井澳和钢州（广州湾口外海中）。左丞相陈宜中对大局绝望，自己逃往占城（现越南境内）。端宗在钢州病逝，张世杰、陆秀夫立八岁的卫王赵昺继位，陆秀夫代陈宜中为左丞相，张世杰为枢密副使，文天祥仍为枢密使。陆、张在日暮途穷的情况下，对宋朝仍忠心耿耿。他们觉得钢州也不安全，就把行朝移到新会县南八十里大海中的崖山，这是南宋朝廷最后落脚的地方。
文天祥率领督府军余部，到南岭过冬后，到处寻访行朝的消息，终于知道行朝在崖山。朝廷加封文天祥为太保、信国公。他先是在海丰活动，不久移督府于潮阳。正当文天祥筹划以潮、惠为依托收复附近失地的时候，元军水陆两路开始进攻潮州。为了避其锋锐，文天祥带督府军退入山中。元军统帅张弘范的弟弟张弘正率二百轻骑紧紧追赶，到五坡岭时，文天祥不幸被俘。他服冰片自杀，但没有成功。督府军的将领不是被俘，就是牺牲，督府军从此瓦解。
浩然正气
张弘正把文天祥押解到张弘范的大营中，元军将官威胁文天祥，要他向张弘范下跪。文天祥厉声回答：“能死不能跪！”张弘范在皋亭山伯颜大营中见过文天祥宁死不屈的英雄气概，知道要强迫他下跪是不可能的。有人提出把他杀掉，张弘范没有权力杀死这个宋朝的丞相、枢密使，只好说：“杀了他倒成全他得到忠义的美名，以礼相待才能显出我的宽宏大量，不能杀。”他亲自为文天祥解缚，并好言相慰，优礼有加。文天祥只要求给他一把剑，以自刎殉节。张弘范对他严加防范，不敢把他监禁在潮阳，而是囚在一艘海船中，四周不断有元军水兵巡逻。
祥兴二年（1279年）正月，张弘范率水陆两路元军直趋崖山，准备消灭南宋流亡政府。文天祥也被押解到崖山来。
珠江口外，零丁洋上，酝酿着一场中国历史上空前的大规模海战。就宋、元双方兵力而论，宋军还略占优势。张世杰的船队有大小船舰一千余艘，其中有不少巨大的海上楼船，将官兵民共二十余万。元军共有大小船只八百余艘，而且有二百艘迷失航向，还没有到达崖山。张弘范看到宋军的阵势，感到这场战斗没有必胜的把握，他决定必须智取，尽量避免力敌。
张弘范发现元军中一个姓韩的军官是张世杰的外甥，就派他去劝降，但遭到张世杰的拒绝。张弘范又派李恒元帅到文天祥船中，请他写信向张世杰招降。文天祥奋笔疾书，顷刻间写了一首七言律诗交给李恒，这就是那首著名的《过零丁洋》：
辛苦遭逢起一经，干戈寥落四周星。山河破碎风飘絮，身世沉浮雨打萍。惶恐滩头说惶恐，零丁洋里叹零丁。人生自古谁无死，留取丹心照汗青。
这是对元军劝降的有力回答，李恒无可奈何地拿了这首诗向张弘范复命。张弘范看到这首大义凛然的诗篇，不觉赞叹说：“好人好诗！”
崖山决战已经不可避免，双方都在准备。其实元军有不少弱点：一是兵力较少；二是北方士兵惯于驰马平野，一登上船就头昏目眩，呕吐不止，战斗力大大削弱；三是船工大都是南方人，心向南方，只要形势转变，他们是会站到宋军方面来的。但由于近年来张世杰多次失利，他的战略思想和采用的战术，都是小心翼翼，力求稳当，决战前，他竟把大船都连结起来，这样就只能守不能攻，失去了灵活性。
二月初六，决战这一天终于到来了。张弘范把元军船队分为四队，向宋军船队南北夹攻。宋军士兵全力抵抗，却无法扭转被动挨打的局面。元军士气旺盛，两军船只靠近时，纷纷登到宋军船上，只见宋军船只绳断旗落，阵势大乱。张世杰看到大势已去，下令砍断绳缆，突围出去。战斗从中午到黄昏，宋军许多船只被元军俘获。张世杰特别担心皇帝赵昺的座船，派人驾小船接赵昺到他的帅船中。保护皇帝的陆秀夫担心混战之后，来人真伪莫辨，没有让接去。皇帝座船较大，突围不出，陆秀夫怕靖康故事重演，于是叫妻子儿女跳海自尽，又回头对赵昺说：“国事至此，陛下应当殉国。德祐皇帝（恭帝赵显）被俘，受辱已甚，陛下不能再受辱。”说罢即背负九岁的赵昺跳海壮烈殉国。张世杰率一百多艘船只突围出去，其余八百多艘都被元军俘获。而张世杰突围后，遇到一场翻江倒海般的大飓风，许多船只沉没海中。将士要他上岸暂避，被他拒绝，终于坠水牺牲。自此，南宋王朝灭亡。
文天祥自始至终观察着这场崖山决战。起初，他多么希望张世杰能打一场扭转乾坤的战斗，事态却按照他预见的最坏的结局方向发展，使他痛心疾首，无以复加。他在《集杜诗·南海》序中说：“崖山之败，亲所目击，痛苦酷罚，无以胜堪。时日夕谋蹈海，而防范不可出矣！”他没有别的办法，只能“坐北舟中，向南恸哭”。他把崖山失败比作赵长平军被秦将白起坑杀，把宋朝的失败归咎于奸臣误国。
三月中旬，文天祥被押解到广州，他正等待着元朝中央政府给他处死的命令，没有想到张弘范却对他更加优待。在庆宴会上，张弘范向文天祥敬酒说：“宋朝已亡，忠孝之事尽矣。文丞相如能改心易虑，以事大宋的忠心事大元，大元贤相，非丞相而谁？”文天祥沉痛地回答：“国亡不能救，作为臣子，死有余罪，怎敢怀有二心苟且偷生？”张弘范劝降失败，向忽必烈上了奏章。忽必烈命令把文天祥押来大都。
至元十六年（1279年）四月二十二日，文天祥离开广州，被押送大都。一同被押北上的还有行朝官员邓光荐，他们一路上论诗谈史，虽然身为囚徒，却并不垂头丧气，还想有朝一日能够东山再起。
起初，元朝政府把文天祥安置在会同馆里，这里是接待投降官员的地方。管理人员以美酒佳肴款待，视为上宾。接着，劝降的人接踵而来，第一个来劝降的就是留梦炎，此人与文天祥都是南宋状元，官至丞相。他在临安危急时弃官逃走，降元后，任元朝礼部尚书。文天祥见到留梦炎，疾恶如仇便厉声斥骂，留梦炎只得窘然退下。随后是瀛国公赵显，即德祐皇帝，他已被元朝削去帝号，封瀛国公。只有九岁的赵显当然不懂得如何劝文天祥投降，元朝统治者是想利用君臣关系来制伏文天祥。文天祥见到赵显，跪下痛哭流涕，连声说“圣驾请回”，赵显只好怏怏而去。
元朝权倾朝野的平章政事阿合马只好亲自来劝降。阿合马高居堂上，要文天祥下跪。文天祥昂首挺立，义正词严地说：“南朝宰相见北朝宰相，怎么能跪？”阿合马见文天样威武不屈，便讥讽地说：“那你怎么会来到这里呢？”文天祥正言厉色答说：“南朝如果早用我做宰相，北人就到不了南方，南人也不会来北方了。”阿合马无言答对，色厉内荏地环顾左右说：“这个人生死由我……”文天祥立即打断他的话，高叫：“亡国之人，要杀便杀，说什么由不由你！”
元朝政府知道文天祥是铮铮铁汉，不能易其心志，于是在牢狱中折磨他。文天祥安之若素，在狱中编自己的诗集《指南后录》。又集杜诗二百首，并作题记，这些题记是很有价值的南宋末年历史资料。文天祥还提笔写下了他那篇气壮山河、千古不朽的《正气歌》。
元政府一些官员想利用文天祥的声望来巩固对南方的统治，又有人提出继续劝降；另一些则反对，认为文天祥不死，是留下的一个后患。元朝最高统治者还没有下最后的决心。至元十九年（1282年）八月，元世祖忽必烈在和大臣议事中问道：“南方、北方宰相谁是贤能？”群臣奏称：“北人无如耶律楚材，南人无如文天祥。”忽必烈下谕，给文天祥高官显位，又下令兵马司优待文天祥，给上等伙食。但文天祥依然拒绝元朝政府给他的优待。
这时北方传说中山府（今河北保定）有人聚众数千人，准备打进大都，劫走文丞相。朝廷立即下令戒备。对于文天祥的处置，也到了最后决定的时刻了。十二月初八日，元世祖忽必烈召见文天祥，亲自劝降。文天祥来到皇宫大殿上，长揖不跪，侍卫官强行他下跪，他仍昂首挺立。忽必烈对文天祥说：“你在这里日子久了，如能改心易虑，以臣事宋朝的忠心事我，当令你在中书省有一坐处（意即当宰相）。”
文天祥坚定地回答：“天祥是大宋状元宰相，宋朝灭亡，只求速死，不当久生。”“不愿当宰相就当枢密。”忽必烈命人传话。“不能当。”文天祥毫不含糊地回答。“你想怎么祥？”“但求一死足矣！”忽必烈无可奈何，只得命人把他带回兵马司监狱。十二月初九日，这是文天祥就义的日子。这一天，元朝政府派来监斩官，率领士兵和乐队到兵马司监狱来，顿时金鼓齐鸣。文天祥神情泰然地对狱卒说：“我事毕矣！”即被带上刑具，押到柴市。到了刑场，文天祥问旁边的老百姓，哪边是南方，遂即向南拜了两拜，从容就义，终年47岁。
就义的第二天，文天祥的夫人欧阳氏来收领遗体，在衣带间发现这样一篇附有序言的赞：
“位居将相，不能救社稷，正天下，军败国辱，为囚虏，其当死久矣！顷被执以来，欲引决而无间；今天与之机，谨向南百拜以死。其赞曰：‘孔曰成仁，孟云取义，惟其义尽，所以仁至，读圣贤书，所学何事？而今而后，庶几无愧！’宋丞相文天祥绝笔。”
文天祥一生刚直不阿，以国为本、高风亮节，深受历代人民敬仰。清代秦簧诗云：“破碎河山余正气，英灵风雨护荒丘。”