我和胡茵梦在一起的时候，亦有妙事堪闻。结婚第三天深夜3点钟，有个自称“中视”林导播的，打电话找胡茵梦，我说：“现在是夜里3点啊！”他回答说：“没错，我知道是夜里3点，你叫不叫胡茵梦来听？她不来听，明天我就公布胡茵梦跟我的床上照片。”我说：“林导播，胡茵梦在跟我结婚前，就开过一张名单给我，名单里面没有你，可见你是冒充的，如果你有照片，那你公布好了。”——这就是李敖的作风，我可以立刻反应，不让你怄到我的气。想在我面前逞口舌之利，差得远哪。
1980年2月8日，我和胡茵梦在财神大酒店顶楼晚餐，侍者通报说他们经理想过来谈谈，随即经理出现，不是别人，就是大名鼎鼎的杨维汉（白云）。白云当年是红遍全中国的大明星，红到全国照相馆橱窗多以陈列他的照片为招徕的程度、红到同时被二十八家报纸连载事迹的程度。如今垂垂老去，也过气了，意态颇为索寞。事后胡茵梦写了一篇《问白云》，讨论他们演艺人员的“过桥”与归宿。胡茵梦虽说问白云，又何尝不是问自己，因为白云已老惫，不堪闻问了。两年后，六十三岁的他，终在日月潭自杀以死，演艺人员的一生浮沉，在他身上，真对比得太强烈了。我识白云在文星时代，他听说我家老太是他影迷，特地跑到台中，去看“李敖先生的母亲”，当年他的影迷何止千万，如今要对一个影迷如此珍惜，光此一件小事，就可以喻大了。
我因为是政治犯和异议分子，并且是特大号的，被管制出境，自不稀奇。我第一次政治犯出狱后四年（1980年），为了试验一下是否能够出境，我托旅行社办了出境手续，旅行社回话说，别人都通过了，可是李先生的出境证却下不来，不知何故。不久，“国家安全局”的干员林家祺来看我，说政府为示宽大，同意李先生出境了。于是，由警总保安处处长郭学周出面，约我到他刀光剑影的官衙，从他上衣口袋中掏出出境证，当面笑嘻嘻地交给我，表示情治机关不刁难了。不料旅行社把出境证送到“外交部”领护照时，“外交部”的专员级科员汪应松力持反对颁发，理由是从新闻媒体报道中，事实认定李敖与胡茵梦有离婚行为，但在旅行社送来的李敖户籍誊本上，李敖却是未婚，因此不能发护照。我得知后，既笑且怒，乃写信责问国民党伪外交部长朱抚松。1980年11月15日，由“外交部”领事事务处出面，回我一信，说：“奉交下台端本月1日致本部朱部长函敬悉。查申领护照按规定须据实填写护照资料卡，台端所填资料卡之婚姻状况经查与事实不符，用特函达，请即亲自或以书面委托他人前来本处办理更正，以凭发照。”我收信后，既大笑又大怒，乃再写信责问朱抚松。我说：因为“丈母娘”扣留胡茵梦户口图章，胡茵梦一时迁不到我家，所以结婚时未能即时到户政机关登记。不料还没登记，就离婚了。所以送到贵部的户口誊本上，仍然是未婚。但这是户政机关的合法文件，是十足合法的“公文书”，你们是公家机关，“经查”手续自以“公文书”为依据，“公文书”上关于我的婚姻状况，你们竟不引为依据，撇开不采，反倒转过头来，要根据报章来“查”，一小块剪报就算“经查”完事了吗？照一小块剪报，就可以推翻附卷的“公文书”了吗？我这样责问后，朱抚松知道李敖惹不得了，因此下令即发护照给李敖，并把“外交部”中的读报专家汪应松骂了一顿。
可是出境的事还没完。延续到十年以后，大家还在扯。1990年11月10日，全美华人协会在波士顿举行每两年一次的全国代表大会，会中颁发杰出华人成就奖给李敖、田长霖（加州大学伯克利分校校长）、李天和（麻省理工学院教授）三人。我不能出席，只好以录音讲话，送到美国去播放。波士顿《舢舨》（Sampan Newspaper）的宋明怡小姐报道了我不能去美国的事。提到“华协颁发这个奖给李敖，是要引起世界人士对他在争取民主自由人权上的承认”，并引述了华协总会会长潘毓刚的谈话。11月21日，国民党政府北美事务协调委员会驻波士顿办事处致函《舢舨》，指出：“《李敖打消美国之行——台湾政府声言出国后不予返台》报道与事实不符，经本处向国内查询复告：李敖先生自民国六十九年（1980年）8月18日核准赴日观光后，迄无申请出入境之记录，目前并无依法禁止其出境情形，亦无政府人员与渠接触谈及境管问题，仍请贵报一本公正报道立场，惠予更正为荷。”对这封官样文章的信，我在11月28日有反驳如下：所谓1980年8月18日核准我赴日观光，与事实不符。第一，我一生讨厌日本，绝不会到日本观光，何来“核准赴日观光”？第二，所谓8月18日核准之说，也与事实不符，因为“外交部”一直不肯发给我护照，按照“外交部”自定的作业程序，护照是四十八个小时内发下的，可是我的护照，拖了四十八天也不肯发下。从8月拖到11月，我火了，写信质问朱抚松。半个月后，“外交部”回信了，捏造出“台端所填资料卡之婚姻状况经查与事实不符”理由，仍旧拒绝发给。11月23日，我再写信质问朱抚松，告诉他说你太太徐钟佩在《我在台北》一书中骂你是“死鬼”，是有道理的，因为我所填资料卡中，全无与事实不符之处，是“死鬼”手下公务员自己弄错了。朱抚松收到信后，紧张了，于是，“外交部”的护照无条件发下来了，“外交部”收回了“经查与事实不符”的鬼话，不再出面阻止我出境了。可是，当我买了机票，要去新加坡观光时，到了机场，却被拦截下来，原因是我虽有了护照，可是出境证被警备总部收回去了。我在机场打电话给警总保安处处长郭学周少将，他们推托不在，也不肯说明郭少将亲手发给我的出境证收回去的原因。我当时恍然大悟：原来是“外交部”和警备总部轮流做坏人，皮球踢来踢去，结果不外是不让我出境而已。国民党政府在三十一年的“强迫永不分离”以后，所谓“核准”，只是骗美国人的把戏而已，一旦我真的要出境了，他们的花样就来了！如今，北美事务协调委员会里宣扬台湾自由的知识分子们，他们对李敖不能出境的事实，坐视三十一年都不置一词，却对李敖可以出境的描绘，兴致勃勃地来函贴金，我看了真觉得好笑。说李敖“迄无申请出入境之记录”吗？太抬举李敖了吧？张学良也“迄无申请出入境之记录”、孙立人也“迄无申请出入境之记录”，在官样文章中，“目前并无依法禁止其出境情形，亦无政府人员与渠接触谈及境管问题”，可见张学良、孙立人不能出境之说，均“与事实不符”。又何必抬举张学良、孙立人呢？希特勒杀了三百万犹太人，也迄无官方记录与依法杀人情形之遗痕，自也同属“与事实不符”之尤者。愿北美事务协调委员会诸君子改行去写历史，则希特勒将感拜无涯于地下。诸君子其勉之！
我的反驳信登出后，北美事务协调委员会挨了闷棍，一个屁都不敢放了。可是事情还没完，我到底出不出境、去不去美国的问题，还是成谜，美国大使馆的邀请虽然早已是明日黄花，但把李敖请到美国去的念头，却大有人在，我三姐就是此中健者。她不让我知道，就为我申请到移民名额，美国在台协会通知我后，我大模大样，理都不理。一拖好多年后，美国在台协会1997年10月29日给了我最后一信，说再等你李先生一年，你再不来，难得的名额恐怕就得取消了。可是我还是不动如山。此中原委，一个插曲道出了一切：1984年，美国在台协会文化中心的头儿何龙（David Hess）下帖子请我晚饭，我谢绝了，8月16日，我写了一封信给他，这信清楚说明了我对美国的态度：
你的请帖收到了，抱歉我不能参加你的晚宴。
二十年前（1964年5月18日），我收到发自贵国大使馆高立夫（Ralph N.Clough）先生的信，邀请我访问贵国；两星期后（1964年6月1日），我又收到林诺华（Lynn H.Noah）先生的信，洽商访美细节，但是我没有成行。没有成行的原因有两个：一个是国民党刁难我的出境，他们要跟我“交换条件”才让我走，但我拒绝；另一个是我对贵国政府一路支持国民党这种法西斯政权，深致不满。
当伊朗法西斯政权倒台的时候，霍梅尼（Khomeini）扣留美国大使馆人质，种种行为，令美国人不解，美国人说他们对伊朗流亡在外国王的关切是基于人道，但他们忘了，当霍梅尼流亡在外的时候，美国的人道又在哪儿？霍梅尼是美国一路支持伊朗法西斯政权的常年受害者，一朝他得以翻身，他会谅解美国这种伪君子的理由吗？
同类的例子太多了。中共在延安时代，美国政府是一路支持国民党法西斯政权的（虽然美国新闻处的主持人费正清〔John K.Fairbank〕等支持中共），美国大使都懒得到延安去；但是，一朝中共得以翻身，美国总统都得勤于上北京了。中共领导人以几近无礼的大架子“临时通知接见”美国总统，美国人同样不解，为什么？因为美国人又健忘了。
如何学到从被美国间接迫害的人的观点看事情，对骄傲的美国人说来，太重要了。
如今，在美国在台机构和我相忘二十年后的今天，你老兄走马上任，想补救你们过去的错误，我很欣赏你的慧眼，可是，好像有点太迟了。至少对我来说，除非美国政府彻底放弃支持法西斯政权，我对与美国官员会见，全无兴趣……
这封信，可谓“曲中奏雅”地道出了我为什么不去美国，而所谓出境问题，自此也被我技术击倒，不成问题了。原因是，我在台湾，一开始是“大有为政府”不让我走；到头来“大无为的我”自己也不想走了。早在1982年3月16日，郑南榕就在《政治家》上发表《李敖，不要走！》最后一段说：
应该禁止李敖出境
这个世代，有财的人想离开台湾，有才如李敖之流的人也想离开台湾，真是时代大悲剧。财、才不缺的李敖先生，应该挺身出来，以心作则，阻挡这种悲剧的潮流。李敖可以站起来，与赵耀东先生一起合唱《归来吧，台大人！》的高歌；也可以坐下来为我们写出第一流的自由民主政治的思想文章。
如果我是出入境管理的掌权人，以上这些论点，就会是我“禁止李敖出境”的理由。这些理由，将使我们对历史有所交代：对列祖列宗保留了一个优秀的文化精英；对子子孙孙留下一个宝贵的文化遗产——李敖。
这是一段很好玩的文字。郑南榕大概不知道：我从1949年起，三十多年间，根本就是陷在“禁止李敖出境”的状态的。所以，说三十多年我一直未能离开也未能获准离开，并没说错。至于三十多年后至今我能否出境，我没办过手续尚不得而知，照判断应该可以，因为叛乱犯时代已逝，而我又非通缉犯或什么犯，也无什么欠税记录等被管制条件，可是我已经准备“‘出’此一步，即无死所”了。我这种决定，大概死友郑南榕最能满意了。
我在1981年非但不能出境，反倒第二次政治犯入了监狱之境，这次“二进宫”，我被关在土城看守所半年，难友刘峰松崇拜“李敖大师”，写了一篇《李敖在狱中》，其中写李敖“囚房权充书房”一段，观察可谓入微：
囚房才一坪多，里面有一张铁床、一个马桶、一个水桶、一座洗脸台、一张小桌子和一盏二十烛日光灯。大师的囚房跟我们一样，但经他精心布置后，就是不一样。第一，他土灰色的四面墙，都贴上白纸，就连铁床下，也用白纸隔开，看不见床下的龌龊；房间洁净，光线充分。第二，他在洗脸台上搭架子，放好几包卫生纸和一些杂物，充分利用空间。第三，他有好几套书，如《二十四史》之类，摆放在靠窗的一面，有如小书橱。第四，他的棉被有三尺高，占铁床的三分之一；用纸箱、棋盘（摸来的）做的桌子及两个放剪报资料的纸箱，又占铁床的三分之一，室内显得特别狭窄。
看大师的囚房，让人有无地容身之感，不过物品虽多，却不凌乱，凡去过他家的，都能想象到他是怎样地把两坪不到的小囚房，变成雅致的小天地。他的囚房不仅洋溢着书香，也散发着一股庄严而不可侵犯的正气，任何人参观他的囚房，都要肃然起敬的；据说每周抄房时（检查房间），“戴帽子的”（狱吏）都不敢弄乱他的房间。李敖虽坐牢，并不失大读书家的风格和气派。
刘峰松又写“应有尽有”一段：
牢房不准有镜子，他有；不准有刀片，他有；不准有剪刀，他有；不准有订书机，他有；不准看《联合报》，他看；买不到糨糊、塑胶带、白纸、长尺……他买到，可说应有尽有。
他不会客、不接见，哪来这么多“家当”呢？原来他有秘密管道，不仅利用它输出，也利用它输入。这条管道（看守所所长）朱光军查不出，我看不是李敖神通广大，而是朱光军颟顸无能。庄严的监狱，有这样的漏洞，朱光军该羞羞。