1976年11月19日，我第一次政治犯出狱了。这时再过五个月，我就四十二岁了。由于吴俊才安排我去政治大学国际关系研究中心做副研究员，该中心主任蔡维屏先约见了我，此公是个官僚，虚情假意，像个YMCA（基督教青年会）总干事。言语无味。不久聘书由女职员送来，我说：“副研究员相当于大学副教授，过去按老规矩，聘书都是大学校长亲自送上门的，怎么派女职员送来了？这是哪门子礼遇？”女职员说：“蔡主任最礼遇李先生了，别人的聘书，都是工友送去的。”我听了，恍然大悟，时代已经变得太多了。
形式上在“国关中心”十三个月后，吴俊才终于同意我自动辞职了。这时我四十三岁。再过一年，1979年6月，我四十四岁，终于东山再起，复出了。复出后最风光的四件事是出书、上报、结婚和离婚。出书是由远景出版公司沈登恩推动，上报是由《中国时报》高信疆邀写专栏，当然立刻引起国民党官方的不快，后来压力迭至，报社主人余纪忠不堪其扰，虽未逐客，我这客人，却不得不自逐也。最后主客双方，乃分手焉。在大大小小的官方压力中，一个有趣的压力是：我在文章中，自称自己坐牢那段岁月是“蒙难”，也构成大逆不道了。这一罪状，官方是由蒋孝武提出的，令人颇堪玩味。当时常住美国的江南听说了，写了一篇《“蒙难”也不能随意用吗？》在海外发表，为我声援，可见当时文网之密，已经到了什么程度，连无知之徒蒋孝武都可干涉言论了。后来蒋孝武派人杀江南，若说祸起于“蒙难”之辩，于理亦非不可通也。
胡茵梦和我的婚变，内幕也涉及政治性。胡茵梦和我结婚前，本是国民党，她写《特立独行的李敖》发表，早就被国民党透过“中影”向她警告。她和我同居到结婚，压力始终不断，国民党逐步封杀她在演艺事业上的发展，使她非常沮丧。她最后抵抗不了这种压力，而屈服、向官方表态，表演“大义灭夫”，这是很可理解的。胡茵梦出身一个不幸的家庭，又因她的美，被社会惯坏，她的反叛性，是没有深厚知识基础的、缺乏推理训练的。她的举动，太多“表演”“假戏”与“作秀”性质。最后，当这种举动渗入政治性的时候，我觉得这一婚姻就该立刻告一结束。孟绝子有一段话说得好：“在李敖的天地中，胡茵梦找不到真善美。李敖的天地中不是没有真善美，但那是董狐、司马迁、文天祥那一类血泪染成的真善美，是‘慷慨过燕市，从容做楚囚’式的真善美，是悲壮而深沉的真善美，而不是胡茵梦心目中的真善美。”但是，胡茵梦是不知轻重的，她被人利用，用不真实的方法伤害李敖，最后伤害到她自己。胡茵梦努力求真求善，是她的大长处，但她用作伪的方法求真、用作恶的方法求善，结果闹得亲者所痛仇者所快，最后连美都没有了！
胡茵梦向官方表态，表演“大义灭夫”后第二天（1980年8月28日），我看了报，决定跟她离婚。我先请来原始的证婚人，孟绝子和高信疆，表示我今天下午就离婚，“解铃还须系铃人”，还是麻烦你们两位在离婚证书上签个字。离婚证书上，我讨厌一般的套语，我只写上“协议离婚”四个字，就告完成。孟绝子签了字，可是高信疆却一再推托，当我得知真正的原因是高信疆太传统、不愿在离婚证书上签字以后，我也不好勉强他，就带着我和孟绝子先签好的离婚证书，一边请人送去给胡茵梦（因为我不想和她再见面了），一边匆匆赶赴忠孝东路大陆餐厅，主持记者招待会，宣布离婚。这时候，胡茵梦在她家得到我通知离婚的消息，大感意外，手拿离婚证书，约来律师李永然研究一番。李永然说最好请李敖过来一下。于是胡茵梦打电话到大陆餐厅找我，说她很难过，不过既然离婚，她也接受。在手续上有需面谈之处，请我过去，我同意了。记者得知后，蜂拥直趋胡茵梦家。胡茵梦登时换上黑底素服，以迎记者。我在路上，特别绕道到花店，下车买了九朵玫瑰花，再上车去胡茵梦家。我到时候，整个客厅已挤满记者，我把花送给胡茵梦，她为之泪下。胡茵梦表示，律师说你写的离婚证书，文字太简略了，最好能照一般写，写上些男婚女嫁各不相干等语，我懒得坚持，就说可以。于是胡茵梦亲笔写离婚书两张，然后是请证人签字，胡茵梦表示，律师说一个证人不够，孟绝子以外，希望再找一位签字，我说高信疆不便签字，你找证人好了。于是胡茵梦当场向记者们说，有谁愿意见证一下。大家面面相觑一阵子，忽然人丛中冒出一记者，说我愿意。胡茵梦同意了，请他过来，我一看此人，不是别人，原来是“段宏俊”！段宏俊当时好像是台港地区一家小报的负责人，有记者身份，他应邀签字，我没有拒绝的必要与理由。当年我主持文星时，段宏俊以自由太平洋文化事业公司负责人身份登门拜访，那时候他是因叛乱坐牢的受难出狱者、是被国民党刚刚“扫荡”过的，并不是后来跟着国民党走的“中央委员”。我这次离婚，后来康宁祥推出的李筱峰趁机影射李段关系如何如何，并说段宏俊在离婚证书上“盖章担任见证人”，是“大家都知道”的。这又完全是造谣。看看报上登的离婚证书吧！不但证人没有盖章，连当事人双方也都是匆匆以签名表示的，谁又有备而来的、没有必要的盖什么章？康宁祥推出的李筱峰，亏他还是学历史的，对整个离婚的过程，全不求证，就贸然曲解、乱造印章，这样子居心、这样子用心、这样子粗心，还被康宁祥请出来主持他们“首都公政会”中“党外史”，这种“党外史”，我们还敢看吗？自古以来，作史也好、修史也罢；正史也好、野史也罢，下笔之际，无不讲究“史德”“史识”“史才”，领教了康宁祥推出的李筱峰的“党外史”，谁还敢做党外啊？因为段宏俊是国民党，造谣者刻意要刻画出李敖勾结国民党的画面，这种用心与居心，实在格局太小了。
胡茵梦生平无不良嗜好，独好“怪物”，任何正常的，她都不喜欢；任何邪门的，她都偏爱，什么怪爱什么，怪不一定要大，一块歪七扭八的汉玉、一条尘封多年的绣片、一瓶闻所未闻的香水、一对密宗气息的耳环……都可使她因“小怪”而“大惊”，而要百计千方，得之而后快，然后休息二十四小时，再去作怪。作怪其实不要紧，甚至有它可取之处，毛病不在作怪而在不知天高地厚。整天吃男人、喝男人、花男人的钱、戴男人的玉、坐男人的车、抄男人的文章出书，结果却不辨亲疏是非，反过头来，与男人虚荣争胜，或以伪证方式“大义灭亲”，争自己人的风，还貌似清高，大谈人生大道理与佛门大道理，这不是不知天高地厚令人恶心的卑鄙小人吗？
1980年，一件不幸的事发生了，就是文星老友萧孟能告我的所谓侵占背信案，这案子根本原因在萧孟能抛弃了发妻朱婉坚——跟他同甘共苦四十年的发妻朱婉坚，我仗义执言，因而触怒了萧孟能的姘头王剑芬、触怒了萧孟能。所谓侵占背信案上了公堂后，我发现我被告的罪状，是非常离奇的。萧孟能说他去南美前，授权我代他办事，我没给他办好，但是，授权办的事，大都是萧孟能自己解决不了的陈年老账，有的长达十八年以上。自己十八年都解决不了的难题，丢给朋友解决，一共给了三个月零十四天，就要解决，不然就招待记者斗臭朋友、跑到法院告朋友，天下哪有这种道理？又哪有这种道德？萧孟能授权项目共有二十四项，这只是大项，二十四项下包括的人、事、单位等一共六十九件，萧孟能给我三个月零十四天，就是一百多天之内办这六十九件事，平均一天半要办一件，就是说，不到两天，要给他办完一件。我自己要谋生，又不靠萧孟能养、不受酬，怎可这样逼人，要人在这样短的时间办这么多的事？
萧孟能自己解决不了的陈年老账，我试举一例。萧孟能与《西洋全史》的作者冯作民有债务关系，冯作民欠萧孟能一笔“呆账”。这笔“呆账”，长达十八年之久，但萧孟能并不催还，反在萧孟能离台三个月零十四天之中，硬要李敖讨到。萧孟能上诉状中说：“与冯作民之债务，因时间之延宕，坐失良机，迄今未解，严重损害上诉人之利益。”试问冯作民所欠为钱，还钱就是了，为何不“解”而要“未解”？十八年间，冯作民只要汇钱给萧孟能；或在三个月零十四天中，汇钱给李敖，即可迎刃而“解”，除此而外，尚复要求李敖“解”什么？可见全是遁词！萧孟能把冯作民找到法庭作证时，冯作民透露此款在萧孟能返台后仍未偿还，可见萧孟能又不急了。有十八年长的时间自己不解决，唯独要李敖在三个月零十四天内解决，否则萧孟能和冯作民两人，即在法庭上把李敖“双杀”，这岂不是故意整人？萧孟能与冯作民两人什么关系，得使冯作民配合他在法院困扰我，我一直好奇。还是我神通广大，终于找到了答案，是1974年5月18日冯作民写给萧孟能的一封亲笔密件，谈的是两人的同好——许女士，全信精彩无比，值得细读：
能兄：我本以为我也可弄成一个“主妇”，和您共组一个“两合家庭”，所以三道门的钥匙早就给您配好，这就是我欢迎您在我家“美人、名马、英雄”聚会的铁证。
岂料天不从人愿，搬来石牌后情况突然变得很坏，如今我连普通秘书都请不起，遑论“伴侣秘书”？许是由我初选由您决选而成，可见在我心中也是一美。眼见美人别抱，任何男人都会有“酸溜溜”之感。两个月来我所以能忍受，一因我俩感情有如手足兄弟，二因我对许还没发生感情，三因我也有一美（前为祖，后为董，祖并允为我之妻）在侧，使我心理获得适度的平衡。祖是我的“喷火美人”，可使许对我不起任何恶性反应；董是我的“灭火美人”，可使我对许不起任何杂念。故始终能相安无事，而我的心波也就一直静如止水。
董走后，我立刻陷入一片苦闷中，对许之存在反应极为不正常，但仍能运用理智勉强控制，不料18日我兄来寒斋幽会后，知您在室内和许谈情说爱，我就在室外猜测你们的情节动作，内心所受刺激之大空前未有，犹如在挣扎饥饿线上的人面前大摆盛宴，心想又有谁肯能分我一杯羹呢！
我兄识我于寒微之中，十多年来深感知遇之恩，所以此次才尽全力助我兄美化人生。
弟四十年来一直在与命运搏斗，始终浮沉在极险恶的生命浪潮中独处空帏，时耶？命耶？弟亦无语问苍天！所幸子女已大，可从旁助弟笔耕。故今后除非极殊特情况，绝不再延聘任何男女秘书，目的只为求一“心静”，而不致再使弟“古井兴波”。
倘我兄能谅解弟上面的苦衷（此点我曾有言在先，想必能得我兄之谅解），即请另筑香闺金屋以藏，于您于我于子于女于许均极便也。专此敬祝
文安！
弟 民 拜书
冯作民在《书痴吁天录》一书中有一段自谓“愿站在道义立场”，为萧孟能“说几句公道话”，因为萧孟能对他有“知遇之恩”。现在密件出土，另设密室为萧孟能配好钥匙，由他“初选”由萧孟能“决选”美女，“来寒斋幽会”、“助我兄美化人生”，这种关系、这种行径，可就未免太那个了吧？冯作民在《书痴吁天录》书中第1页就说“事无不可对人言”，但是上面密件中的事，他却一字也不敢写，这叫“事无不可对人言”吗？冯作民书中提到萧孟能王女士是“夫妻”、称他们为“兄嫂”，这又是千古妙文！因为萧太太一直是朱婉坚，冯作民明明知道，萧孟能又何来一位王夫人？冯作民目无萧孟能的四十年发妻朱婉坚，竟将许女士收为密友、把王剑芬推做夫人，如果这些也算是人间的“恩”、人间的“道义”，人间真没有“公道话”了！
萧孟能告我的案子，由于国民党官方王异以下黑手的介入、由于台湾高等法院法官林晃、黄剑青、顾锦才等的枉法裁判，害我坐了半年冤狱。看了上面萧孟能利用冯作民的这些细节，才能觉察到这些促成冤狱的背景资料的复杂。由于我的耐磨善斗，虽然最后萧孟能被我打败，以诬告罪坐牢并逃亡海外，但在过程中，我也饱受诬蔑与损失。我至今不谅解胡茵梦，为的是她在我和萧孟能官司中作伪证，并且十八年后仍执迷邪恶，继续在电视上歪曲事实，我只好用连续七集的“真假胡茵梦”拆穿她，用证据使她无所遁形。
萧孟能诬告我的案子使我丢了老脸、丢了老友、丢了老婆，但最后我反败为胜，不但恢复了名誉，并且打败了他们，还乘胜跟国民党算了老账，老李飞刀，追杀十八年，至今未已，李敖的可怕，连李敖自己都有同感呢！我的可怕，不止于对活人，对死人也一样。当年蒋介石在庐山谈话时，说“如果战端一开，那就地无分南北，人无分老幼”，都要迎战。如今我却以为善报仇者，要再加上“敌无分生死”，才能更尽此义。例如我对蒋氏父子，便是如此。对死者鞭尸、对生者追击，这才是报仇者的全面公理，放眼天下，唯李敖有焉。