我从二房迁到十一房以后，刘辰旦迁到六房，跟“成大共党案”吴锦江同房。六房在十一房的斜对面，从高窗中可以打照面，我因为有块破门板，用书物垫起，搭成桌子，所以一上了桌子，头就可伸到高窗上；而刘辰旦那边，因为身怀绝技，从门框上垫脚，纵身一蹿，也可攀住高窗。只要向下俯视，走道上没有班长，就可以用暗号联络对方，上高窗讲话。刘辰旦呼叫我的暗号是吹口哨电影《坦克大决战》一段，我呼叫他的暗号是唱英文歌一句。歌曰：“Sister！Sister！Do you hear me？”是我被捕前与小蕾看的最后一场电影《火雷破山海》中对修女唱的歌。不过为防其他房旁听，有时也用“大字报”。“大字报”是把纸裁成长条，用毛笔写掌心大小的字，自左向右横写，呼叫以后，一张张再自左向右慢慢传送，虽然只是纸条走动，但是感觉与霓虹灯广告无异，真是妙法。传后撕碎，从马桶冲走，片纸不留。有一天中午，刘辰旦、吴锦江此起彼落，每次落下，地板砰砰作响。跟我传了一两个小时“大字报”，我想他们一定累坏了。我这边，因为有克难桌，两脚落实，不需用脚掌侧踩门框，所以传起来，倒一点也不累。后来我迁到八号房，刘辰旦迁到六号房，同在一排，不能打“大字报”了，所以多靠呼叫。刘辰旦有时把许多消息，写在小纸条上，偷封在生力面袋里，佯作送面给我，请外役（主要是位外号叫“阿财”的）转来。我那时很自私，也很谨慎，不回传字条，为了怕被查出，影响我的读书方便——我独居一室，拼命看书，辅导官冯音汝在书本管制上，也对我优待，这种大牢能坐下来，有大量书看太重要了。我们那时年复一年不准看报纸，有一次李政一在楼上弄到几块报纸传给我，不久李政一就被抓到。我当时也弄不清他们的底细，不愿深交朋友，所以尽管礼尚往还，可是却不肯回传字条。刘辰旦的字条有时用菜盆传给七房的吴荣元，再由吴荣元从外窗传给我（七、八房有外窗相连，下有细缝）。吴荣元和吴锦江都是“成大共党案”的头目，吴锦江判无期时吴荣元判死刑，后改无期。吴荣元与警总的陈鸿渐同房，我尤其小心，因我对警总的人极不信任。由于我在书本管制上被优待，刘辰旦、吴荣元他们也沾了不少光。吴荣元与同案的刁德善，我为他们买了当时几千块的书，让他们带到火烧岛（绿岛）。由于我不肯回传字条，他们倒也习惯了。吴荣元临去火烧岛前，留字给我，感谢我对他的“不言之教”；刘辰旦一点也不怪我，他知道一定有我特殊的原因，仍旧对我关怀备至。我冬天畏寒，他极为担心，请他姐姐刘美女买药送我，又传字条来，提出各种御寒良方，其中之一是教我学日本学生，用干毛巾浑身干擦生热，他的好意，我至今记忆犹新。我因饱受深交朋友之累，所以在没弄清底细前，颇为矜持，但是刘辰旦对我，一本胸怀坦荡，日子久了，我发觉此人很够朋友。1975年4月25日，我在小房里独自看书，特别是小蕾请她父母送来祝我四十岁生日的《生活杂志》（The Best of Life）画册。忽然班长送进一个生日蛋糕，原来是刘辰旦请他姐姐特地为我买了送来的，刘辰旦的体贴细心，照顾朋友，由此可见。他的姐姐在弟弟受难期间，本来打算把退休金买间小房子的，结果钱都花在救弟弟上面了，房子吹了，她真是一位伟大的姐姐。刘辰旦他们虽然与我同案，但是罪状却你东我西。他们罪状是所谓爆炸案，其实这是冤枉的。在年复一年的囚居里，我慢慢得知：所谓爆炸案，根本就不是他们干的，而是吴彰炯少将主持下的一场冤狱。我在牢里认识不少人，但与刘辰旦独亲。我出狱后二十年，还由他陪我去拜访他那伟大的姐姐，向她致敬，并且不忘她在我四十岁生日时送我的蛋糕。
在判决定谳后，所余刑期只有一年多了。1975年12月22日清早，我突然被通知收拾行李，要移送“仁爱教育实验所”（仁爱庄），就这样的，我从景美移到土城，开始被国民党“仁爱”了。为了优待也为了隔离，我被放到“仁爱教育实验所”中的花园洋房里，开了专班。专班“同学”四人，即李敖、谢聪敏、魏廷朝、李政一，从外请来所谓学者名流给我“上课”，他们是陶涤亚、毛树清、项乃光、周道济、王洸、屠炳春、施敏雄、林钟雄、任卓宣、柴松林、魏萼、乔宝泰、邬昆如等等，每周来“上课”一次，我看不起他们，对他们冷眼相向，一言不发。在两旁“陪太子读书”的少将副主任、上校教导长等怕冷场，希望我讨论讨论，我一概不理。我心里想：这些人是些什么嘛，例如毛树清，是当年同我一起在舞厅跳舞的舞友；例如施敏雄，是当年我台中一中老同学施启扬的小弟。他们虽然装作不认识，可是他们怎配来跟我讲课？至于任卓宣，根本是我笔仗时的手下败将，更不足道了。国民党轿车请这些人来“太岁头上动土”，不是胡闹吗？（我出狱后五年，在台中一中校友会席上，碰到林钟雄，我笑骂他你好胆大，居然敢来替国民党向老大哥“洗脑”！林钟雄连忙打躬作揖，他说他被请去，根本不知道给老大哥上课，只以为是给普通政治犯上课，只是想赚点外快。后来上课时，才知道赫然坐对面的，竟是老大哥！所以原约定上四小时的课，后两小时他再也不敢来了，他说他见了我，又胆怯又惭愧。）
就这样的，我的牢狱生活就接近了尾声。国民党放我以前，依法要有人作保才能出狱，我拒绝，我说我朋友全跑了，没有保，只剩下一个“朋友”，就是你们“仁爱教育实验所”的教导长汪梦湘上校，此公笔名东方望，给《文星》写过稿。汪梦湘跑来，说他有职在身，不便保我，我说你老婆没有职务啊，就由你老婆保吧，他还是不敢。后来所方人员偷偷同我母亲商量，提议改由我母亲保我，我得知后大怒，我说保人就可能是每周一次向警察告密被保人一周行踪的人，如我母亲保我，母亲就有每周做线民一次之嫌，这成什么世界！他们无法，就暗示我没保人就有被继续“感化”的可能，我说没保人而继续坐牢的人，我知道不少，可是我就是没保，你们不放我可也。到了1976年11月19日，我终于胜利，破例无保释放。我出狱那天，他们交给我“国防部绿岛感训监狱开释证明书”一纸，上面有例行印好的“行状及悛悔情形”专栏，中有例行的思想已改正字样。我既未去绿岛，也未悛悔，收到这张证明书，我真又好气又好笑。后来凭此证明书，领到身份证，又重新开始我的“没有青春只有‘斗’”的生涯，这时我四十一岁了。
在我坐牢期间，丁颖（载臣）、周渝、孟绝子、赵承厚、华肖忠等人敢来探监，我至今铭记；尚勤在海外会同许登源送了我一万台币，我出狱多年后，送了一栋房子给尚勤，并请许登源大吃特吃一次。丁颖、周渝、陆啸钊、陈彦增都有钱来，我都不忘记。陶英惠代刘绍唐写信来，我也感谢他们。我一生感人之恩，怀人之德，不没人之功，垂老写《李敖回忆录》，自当表而出之。
在这五年八个月的监狱生涯中，虽然是昏黑所在，但观察入微，也不无奇趣可寻，我加写一些：
一、我被刑求的项目中，有一项拶指。他们把三支圆珠笔夹在我左手四根手指中间，再强行用我的右手紧握四根手指。并对我说：“李先生，这不是我们折磨你，是你自己的右手在使你的左手痛苦，所以不能恨我们。”我笑笑，说：“我不恨你们，也不恨我的右手，我只恨圆珠笔。”
二、我在警备总部荣膺五委员后，情治人员发现，我这台独大员，根本不会说台湾话，甚至“听莫”（听不懂）台湾话，如今成了“台独先烈”，未免滑稽。我跟他们开玩笑说：“没关系、没关系，英国国王乔治第一根本不会说英文呢，他是从欧洲大陆过去的，不会英文都能做英国皇帝，我李敖不会说台湾话却做上台独大员，又算什么啊！”
三、保安处看守所所长罗永黎上尉留小平头，两眼炯炯，令人生畏，可是跟我熟了，发现他人蛮好。有一次，他感慨地说：“我是神仙、老虎、狗。”我问他为什么，他说：“我一看到老婆，就是神仙；我一看到囚犯，就是老虎；我一看到长官，就是狗。”我听了哈哈大笑。他补充说，他真觉得他干了这么多年，其实只是国民党的一条狗！但他毕竟是假狗，看到真狗会害怕。国民党抓雷震那一天，他被派去参加，自由中国社有条大狼狗，差点咬了他，他说他虽然是国民党一条狗，但还是怕真狗。
四、我住军法看守所第二房，正对面是第十房，关的是调查局“匪谍”处长范子文。此公英国留学，相貌堂堂，气焰很大，被调查局局长——不懂ABC的沈之岳整，诬以“匪谍”之名，关了起来，不但把他关起来，连他的太太满素玉也关起来，太太就住楼上。范子文被关，自认不得活命，他的姐姐来看他，他双手抓住铁栏，大叫道：“我给国民党做走狗做了这么多年，就是这种下场啊！”经大家劝说，他才不叫了。他后来专心信佛，整天大声念佛，念佛以后，口中连说：“报应，报应！”可见他内心对过去杀生忏悔之重。念佛以后，他说不杀生了，可是牢里蚊子太多了，赶也赶不走，他没办法，就用扇子把墙上的蚊子一一拍死，一边拍一边说：“这不是杀生，这是打沈之岳！”