阿合马来到拘押文天祥的小驿店，坐定后，召见文天祥。当文天祥被押到时，对这个权倾一时的首席宰相，只是作了一个揖就坐下了。阿合马见状，就用威势来压，以威严的口吻说：“你知道我是谁？”文天祥回答说，“刚听说宰相来了。”他立即摆出宰相的架势说，“既知是宰相，为何不跪？”文天祥不卑不亢地冷冷地说：“南朝的宰相见北朝的宰相，为什么要下跪？”噎得阿合马不知所措。于是，他又转换一个话题，语带讥讽地问，“你为什么到这里来了？”这句话的潜台词是，你还逞什么强，不是被我们打败成了俘虏吗？文天祥说：“南朝早用我为相，北可不至南，南可不至北。”这句话包含了很多内容，大意是说，南朝若早用我为宰相，按照我的方案，治国、抚民、建军，不会出现今天这样的局面，你们元军根本打不到南方，我也不会成为俘虏。被押送到燕京。这一回答，太出阿合马的所料，转过脸对身旁的人说，“这个人这样倔强，可生和死还得由我呢？”对文天祥露出了狰狞的面目。文天祥生气了，很不耐烦地说：“亡国的人，要杀便杀，说什么由不由你？”阿合马知道再说也没有用，连一句劝降的话都未讲出来，就灰溜溜地走了。
第五天，张弘范从广州回到燕京，听说文天祥这几天的情况后，第二天，也就是文天祥到达燕京的第六天，他与阿合马和元朝另一宰相孛罗等共同商量后，决定用残酷的手法折磨文天祥，以消磨他的意志。就在这天中午，文天祥被押送到兵马司监狱（即北京现称文丞相胡同、东城府学胡同）。在颈项上带上大枷，并缚住双手，关在一间阴暗潮湿的小房间里，将随身所带钱银和衣服，一概没收，并规定每天只给一钱五分的纸钞以供吃喝。还规定不许接近任何人。从这天起，一直到十一月初二，才把颈上的枷摘除，长达27天之久。在这一段极为困苦的时日里，文天祥写了十七首诗，记叙了在监狱中非人的生活。他在诗中说，他这个南朝丞相，竟受制于狱吏，在其叱喝，监视下，身上穿着囚衣，颈上带着铁链，被强迫浇水灌园，还得自己在枕边的炉子上生火煮黍米粥，空荡荡的四堵墙壁，到处都是厚厚的尘土，只有我一个人在这里，连个说话的人都没有，身上长了虱子，生出了癞疮，实在不堪忍受。但是文天祥以极大的毅力，承受着一切，不但没有消磨意志，而是磨炼了斗志。他在第五首诗中写道：“亦知戛戛楚囚难，无奈天生一寸丹”。在第四首诗中写道：“苏武窖中偏喜卧，刘琨囚里不妨吟”。在第十六首诗中写道：“理明心自裕，神定气还清”。从这摘录的三句诗中，可以看出文天祥坚定的意志，伟大的人格，国格。诗的意思是，我明知作为囚徒是极端难受的，但我有着为国为民不惜牺牲的丹心一寸。尽管居住的条件非常恶劣，但我也安然入睡，在环境如此之坏的牢房里，也无以妨我吟咏写诗，为了我执著的追求，心境是开朗的，精神上是气清神爽的，牢狱的折磨，压不倒我，只能使我意志更加坚定，炼出了我一身浩然之气。文天祥的这一精神境界，在他后来写的《正气歌》中，更充分地表现了出来。这也是元统治者未曾预料到的。
金石之性
孛罗、阿合马和张弘范商定的以残酷的折磨消磨文天祥意志的办法，经过一个月的较量后，又以失算告终。于是，又出新招：用法庭审判的方式，采用质询、辩难的手法，运用天下有兴有废和爱国与忠君的儒家传统，企图使文天祥折服而就范。
十一月初二，解除了文天祥的枷锁，以示宽待。从初五起，天天带他到枢密院听审，但都见不到审问的院官，以示轻视。“宽待”和“轻视”的用意，都是给予一个警示：文天祥，放明白点，你不过是一名在押的俘虏，命运操在我们的手里。初九日，在枢密院大堂上，摆出了一个大会审的架势，首席院官是正权倾一时的首席丞相孛罗；另一位是已官至副丞相的宋降臣张弘范。参加会审的还有“院判、签院”等一些官员。
面对如此威严的威慑场面，文天祥见到孛罗时，只对他仍一长揖，算是打了招呼。通事（即翻译），大喊“跪下”。文天祥冷冷地说，南朝的揖就是北朝的跪，怎能强迫我南人行北礼呢？孛罗大怒，叱责手下人强迫文天祥下跪，有的压手，有的按脚，有的用膝顶住文天祥的背，硬将他按在地上，但只要他们手一松，文天祥就挺身站起。通事见此情景，极力想为孛罗挽回一些面子，于是用胜利者的姿态厉声先问：“今日，事情发展到这等地步，你还有什么好说的？”文天祥从容不迫地回答说：“天下事有兴有废，自古帝王以及将相，被灭被杀，哪一代没有？我文天祥今天为了忠于大宋的社稷，才至如此，你们想怎样处置我，就早动手吧。”通事又逼问说：“就这么多吗？还有没有什么要说的？”文天祥说：“我身为大宋宰相，国家亡了，我理应殉国，这是我的职责所在，今日被俘至此，论法也应这样，我早就准备随国而死，没有什么可多说的。”驳得通事哑口无言。这时孛罗出马了，他抓住文天祥所谈兴废问题进行质询和辩难，妄想从这里打开缺口，逼劝文天祥投降。他说：“既然你说到天道有兴有废，就讲讲自盘古开天辟地到今天，有多少朝代，有多少帝王？我不太清楚，你给我逐个数出来。”孛罗的用意是，只要文天祥数到宋亡元兴，就等于承认元朝是正统，元世祖忽必烈是应运而生的全中国的皇帝。然后用天道兴废来说服文天祥归顺元朝是符合情理的。文天祥没有上孛罗设下的圈套，他将话锋一转说：“一部十七史从何处说起？我今天不是来参加搏兴宏词科的考试，没有必要给你们讲这些东西。”弄得孛罗面红耳赤，但他并不甘心失败。接着，孛罗用责问的口气说：“我因兴废，所以问到古今帝王，你既然不肯说，那么我要问你，自古以来，一为人臣的把宗庙、城郭、土地奉献给别国的人后，又自己逃走开去，有这样的人吗？”文天祥笑笑说：“你指的是我当年奉使去伯颜军前谈判的事，说我身为丞相，把宋奉献给元后又离去了，你应该懂得，把自己的国家奉献给别国的人是卖国之臣，卖国对他有利才这样做，必定不肯离去，肯离去的人，必不卖国。当时，我被伯颜拘留，贼臣才得以献国，国亡，我本应以死殉国。之所以不死是因为有度宗的两个儿子在浙东，老母在广州，我之所以离去，就是为了图国家之再兴。”孛罗听到文天祥提到度宗二字，立即就用忠君的说教来责难他说：恭帝赵不是你的皇帝吗？你不跟随他降元，将他丢弃，又到南方另立益王赵昰和广王赵昺，难道这算是忠臣吗？文天祥振振有词地回答说：“德佑（指恭帝）吾君也，不幸而失国，当此之时，社稷为重，君为轻。吾别立君，为宗庙社稷计，所以忠也。”意思是说，恭帝赵把国家丢了而不顾惜，我当然要以国家，社稷为重，另立新君，以图再起，这才是真正的忠臣。接着又举例说：“西晋灭亡时，怀、愍帝二帝成了俘虏，随怀、愍二帝北去的不算忠臣，自然是随晋元帝在南方另立国家的才是忠臣。再是北宋，徽、钦被虏投降，自然是跟随康王赵构建立南宋朝廷的是忠臣。”文天祥的慷慨陈词，使孛罗理屈词穷语塞，想了半天才悻悻地说：“你立二王先后为帝，又有什么功劳呢？”文天祥回答说：“国家不幸丧亡，我立新君是为了救国家，国家存在一天，为臣子的就要忠于职守一天，从不计较什么功劳。”孛罗又说：“你既然知道已经挽救不了你的国家，为什么硬要这样去做呢？”文天祥坚定地说：“父亲有疾，已不可挽救，但我不能不尽我的全部心力。”至此，文天祥不愿再和他们啰嗦下去，就大声地说：“今天文天祥至此，有死而已，何必多言！”孛罗听后又羞又恼，恨恨地说：“你要死，我放你便死，禁持你”。文天祥仰天大笑说：“死都不怕，还怕你的囚禁！”孛罗脸都气得发黄了，一迭连声地叫道：“带下去，别听他讲了。”元统治者精心安排的大会审就以失败而结束了。
文天祥回到监狱的第二天，就在土牢墙上，题了一首五言律诗：
俨然禁君子，一日造王庭
议论探坚白，精神入汗青
无书术出狱，有舌到临刑
宋故忠臣墓，真吾五字铭
这首诗的意思是说：我文天祥是南朝的君子，十一月初九日被押解到枢密院大堂受审；在大堂上我与院官们展开了一场大是大非的辩论，并批驳了他们。我不想像西汉景帝时的邹阳，因被人诬陷入狱，上书皇帝自我辩护而获出狱，我要效法唐朝将领颜真卿那样，在被叛贼安禄山俘虏后，因骂贼而遭安禄山军剜舌惨死而不屈的精神，做一名不屈的忠臣。我的最终愿望是在我牺牲后，在我的墓碑上刻上“宋故忠臣墓”，这就是我的五字座右铭。
文天祥的这首表示宁死不降的诗，立即被狱官乌马儿报告给孛罗，孛罗绝望了，动了要杀文天祥的念头，但是他不敢做主，就向元世祖忽必烈报告，忽必烈是一位心胸开阔的杰出政治家，他多方面求才，起用一切能为他的朝廷服务的有才能的人。《宋史·文天祥》中记载说：“我世祖皇帝以天地有容之量，既壮其节，又惜其才，留之数年，如虎兕在押，百计驯之，终不可得。”意思是说，忽必烈非常重视文天祥的才干与气节，千方百计设法，希望他能归顺元朝，但劝降、恫吓、高压、软化乃至长期折磨，都不能动其心，移其志，数年如一日。有一年岁末宽放囚犯，最后监狱中仅剩文天祥一人时，狱官乌马儿请示孛罗，如何处理文天祥？孛罗问道：“文丞相犹硬不硬？”文天祥听说此问语后讲：“昔人云‘姜桂之性，至老愈辣。’予亦云：‘金石之性，要终愈硬，性可改耶？”意思是说，姜桂越老越辣，金石始终都是硬的，生就的秉性岂能更改。表明了自己宁死不降元的态度，不论是在怎样的境遇下，也是不会改其杀身取义初衷的。
翰墨飞香
文天祥在监狱中关押了三年后，始遭杀害。其原因何在呢？最主要的是元世祖忽必烈想“多求才”，希望这位在南人中才、节最佳的人为元所用，这对稳定江南的统治是极为有利的。忽必烈和朝廷中的上层人士还多认为，人是经受不住长期关押的，随着时日的消逝，形势的变化，终有一天文天祥会回心转意，归顺元朝的。但他们错看人了，就在他被孛罗审问后的一个多月，在他题为《十二月二十日作》的这首诗之中的后两句写道：“南来冠不改，吾且任吾囚。”表明他对长期关押，也已做好了思想准备。于是，他在狱中开始编自己的诗集，要在已不具备组织抗元义军的条件下，拿起笔墨进行战斗。他用锐利的笔锋，写出自己金石之性和思想，写出战友们的业绩和壮举，写出宋亡的历程和教训，写出在监狱中所过的非人生活。他还对一些历史人物的是非功过进行评述，对卖国贼的罪行无情的斥责。他在《指南后录》的题中说，他之所以这样做，是为了“使天下见之，识为人，即吾死无憾矣！”表明他是有计划地要用诗歌进行战斗，用以激励自己，抨击敌人，留之后世，警示后人。
三年的牢狱生活，他一共编写出多少诗文呢？当时有一位他的同乡庐陵人刘岳申，撰写了一篇《文丞相传》，文中说：“自是囚兵马司者四年（按在狱中首尾纪年），其为诗，有《指南前录》三卷，《后录》五卷，《集杜》二百首，皆有自序，天下诵之，其翰墨满燕市。”
文天祥为什么将狱中所编撰诗文定名为《指南录》呢？我们可从当年他从通州绕道扬子江时所写的《杨子江》一诗中找到答案，此诗的后两句是“臣心一片磁针石，不指南方不肯休”。表明他爱国爱民之心，始终如磁针指南一样，永不变更。他所编撰的《指南前录》，记述了他从平州到临安以及赴元营的斗争，一直写到五坡岭被俘前的经历；《指南后录》，记述的是从五坡岭被俘后到元世祖至元十九年（1282年）就义时的绝笔。狱中三年，文天祥的创作量是很大的，《指南后录》现存的诗歌就有一百余首，《集杜》二百首，还撰述了自己遭遇的《纪年录》及其他书启。仅就在狱中所写诗而言，平均三两天就写出一首，其文思之敏捷，创作之丰富，令人折服。