在文星时，1964年，有一件重要事情发生，就是“彭案”。彭明敏给《文星》写稿后不久，就和谢聪敏、魏廷朝一起被捕了。被捕后，他在蒋介石手中，一如蒋介石西安事变时在张学良手中，本想“不立文字”就脱身的，但蒋介石远不如张学良宽大，硬要彭明敏写悔过书才放他。对彭明敏“宽大之处理”，本是国民党的底价，这在1965年1月7日《王世杰日记》可以侧知。但彭明敏在牢中不知底价，只好决心投降。于是冒出一个由彭明敏的母亲陈金英出面向蒋介石写陈情书。再由彭明敏自己写悔过书的馊主意。陈情书和悔过书的拟稿，彭家和奔走其间的“监察委员”黄宝实等异想天开，竟想到由彭明敏的朋友李敖代拟。我不但一口回绝，并且表示不悦。我说想革命就要做好汉，写悔过书算什么好汉！彭明敏又不是小孩子，要写他自己去写，我是不干这种遗臭万年的缺德事的！何况我也不会写这种文章！这种事找到我头上，简直是侮辱我！后来的演变是：由彭明敏的伟大母亲陈金英出面找人代写陈情书，至于悔过书，还限由彭明敏自作——号称台独领袖的彭明敏，竟如此屈辱自己，而传世了这些悔过的文件，的确是令人难以置信的。但是，白纸黑字在此，谁又赖得掉呢？王八蛋国民党以为这样处置是“宽大之处理”，其实只是使当事人更恨它而已，因为你的“宽大”，是屈辱人式的，这叫什么“宽大”！如此收场，国民党和彭明敏双方都很笨。此外，最倒霉的，有两个人：一位是彭明敏的母亲，她是最有尊严、最高雅的伟大女性，却被儿子“祸延显妣”，屈辱自己，以近七十之年，向蒋介石写陈情书，最荒谬的是，儿子已四十三岁，早已成年成过了头，居然还要劳动老母代他出面丢人现眼，这真是台湾史上的奇闻，也是台湾史上不光明的一页；另一位是满口流利日语的梁肃戎，他写状子，“附呈其（彭明敏）亲笔悔过书，及其母陈金英陈情书”，辛苦奔走，救当事人出来，多年以后，却被当事人彭明敏倒打一耙，奚落他不尽责，彭明敏所谓“我是极重感情并懂得感谢的人”，到头来原来是这样感谢法，气得梁肃戎大骂他忘恩负义。幸亏当年我没替他写，否则和梁肃戎一样待遇了。
魏廷朝坐牢时，我写了信，送了钱，被“国特”追问，我开玩笑说：“别问啦！你们在台湾作恶，我送台湾人点礼，是替你们收买台湾人人心啊！”当时蒋经国曾送钱一千元，交魏廷朝上司“中研院”近史所所长郭廷以转致，郭廷以也送了五百元，他们送的钱加在一起，也赶不上李敖送的多。——国民党收买人心之手面可知也！固一介匹夫不若也！送款信由郭廷以亲写，后来魏廷朝送了给我，我转送给台独分子林世煜、胡慧玲小两口了，以见外省人花钱术之一斑。
在我为党外杂志撑腰的岁月里，郑南榕的《自由时代》系列杂志，与彭明敏挂上钩，他们访问我，刊出了一篇《助他一臂之力——李敖谈彭明敏》，那是1986年春天的事。两年后，1988年12月17日，彭明敏秘密写信给我——那是他与我隔世十八年后第一次给我写信，要借我办的《乌鸦评论》园地，教训他的学生蔡同荣。我同意了，我也随后发表了蔡同荣答辩的文字，以示公平。接着彭明敏又来稿，我也登了。来稿一看就是他的笔迹，虽托名别的学生所为，实系夫子亲笔。这一事件恢复了彭明敏和我的直接联系。1989年4月4日，他写《彭明敏回忆录（自由的滋味）李敖定本序》，最后说：
不料，我脱出台湾不久，李敖却以“台湾独立组织驻台专员”之怪名被捕，天下岂有比之更荒唐事。
我于1970年夏，由瑞典来到美国，李敖则长期受难，我心痛如割、急如焚，也曾求助于一些国际人权团体，但还是救不了他。
他出狱后，因顾虑到台湾以及我本身的环境，觉得还是不打扰他好。于此，我们的联络中断了，而一断就是十八年。
1988年年底，偶然与他恢复联系，其后，我们有时隔洋追念往人往事，对人世沧桑，共担感慨。
今年初，他突然提议愿为我的回忆录《自由的滋味》，在台湾出一精美定本，“以垂久远”。我们都知道该书已有几种版本充斥台湾，市场已经饱和了。他再印行，不但无利可图，可能亏本。他愿意这样做，相信纯然出于他对我一贯的厚谊和支持，我很感动，欣然同意了。
他又写道：
李敖是华人史上罕有的奇才。唯因如此，当权者视之如背刺，非把他连根拔掉不休。又因为是奇才，有时难免惹起争议。听说我一些好友也曾与他有争执。但我历世已久，深知人性世事之复杂，双方立场都能了解，双方友谊都不受影响。
这份李敖定本是际此乱世，两个书生，在波澜万丈、历尽苦楚的生涯中，永年友谊的一个里程碑，也是不渝情感的一个结晶。不知人生有什么比之更美丽、更有意义的事？
在这些动人的回忆里，看到彭明敏重视和李敖友谊的一面，这一面当然是真诚的，我很怀念，也很感动。虽然，在我内心深处，仍有一些我难以释怀的阴影，有待我去诠释、去追寻。其中最重要的一件，就是他把我诬陷成台独分子的那件杰作，这是不仁不义的可耻行径，我隐忍多年，最后还是写出来了。
在“彭案”没发生前，彭明敏大体上是国民党培养的乖乖牌，他本是国民党最早提拔的青年才俊，看看他的资历：博士、台大政治系主任、联合国代表团顾问、阳明山会谈参加者、跟钱复同为第一届十大杰出青年……只要他不那么锋芒毕露的话，我敢断言，今天的“总统”是他而不是李登辉。彭明敏这样优秀的人才，国民党拉拢不到，我认为是这个人非常有志气，台湾被日本与国民党前后摧残八十多年，像这样有志气的台湾人真是不可多见！看看像党外人士，像高玉树、像张贤东，乃至像今天民进党的作秀派大员们，国民党稍微给了一点好处、一点面子、一点虚荣，就马上变了。而彭明敏则不然，他是蒋介石“召见”过的人，可说是几乎到手的东西，他却弃若敝屣，甘愿当个反叛者，这是很难得的。不过，除了志气以外，当然也有其他因素造成历史事件，懂历史的人都知道，其他因素中的偶然因素也是不可缺少的。
“彭案”中的这类因素之一是谢聪敏。谢聪敏跟我两度同学（台中一中、台大），长得浓眉狼眼，为人极有心机。他的表情总是笑嘻嘻的，笑嘻嘻中有一股自信及从容。他运用心机，说动他的老师彭明敏、同学魏廷朝跟他搞台独宣言，成为有名的“彭案”。事实上，“彭案”的案头不是彭明敏，而是他。这由军法审判谢聪敏判十年，彭明敏、魏廷朝各判八年可证。一般说“彭案”乃因彭有名而把“谢案”吸收了的缘故。严格说来，是事后追加的、是错误的。当时官方发布的“中央社”消息都是“谢聪敏等叛乱案”。现在回看起来，那种“叛乱”，其实是书呆子式的，不成气候，只有国民党才小题大做，最后弄得梁子结尽、不可收拾。我始终难以理解：以当时的禁网之密，其无成效可能，一想即知，遑论成功？但他们为什么那么笨？尤其彭明敏，他理应比他两个学生成熟一点，为什么也那么笨？后来我得知了彭明敏个人的偶然因素，造成了爆破点，才炸出“彭案”，这偶然因素就是男女关系。彭明敏在“志气”方面造成他的伟大，但在“性欲”方面造成他的渺小。他的太太李纯女士非常美丽贤淑，是东洋式的新女性，但那种新，是真正体谅别人、牺牲自己的，是最伟大的。她非常沉默，她的沉默，相对助长了彭明敏在男女关系上的不负责任、横行无忌。使彭明敏在男女关系上，得以继续胡来与伪善，直到今天犹得欺世盗名。我每次去彭家，她都像最有教养的东洋式女主人亲自奉茶。
彭明敏偷渡后，我在特务环伺下也到遭特务环伺的彭家慰问她，她家遭奇变，仍不改雍容。看到我那样义侠，非常感谢。我坐牢最后一年，与谢聪敏、魏廷朝、李政一四人在板桥仁爱庄被集中“洗脑”时，一天收到四盒精美的糖，原来是彭太太送给我们的。谢聪敏有意误认是给他一个人的，偷偷放在床底下，被有正义感的李政一发现，强制四分天下，并且骂谢聪敏一顿。彭明敏虽然有那么好的太太，但是他不安于室，习与性成。本来这是私生活的事，别人不该提。但是你的私生活，“膨风”到与公益、与为人师表、与世道人心有关的时候，恐怕就不能托词是你个人私德而不准人来过问了，彭明敏如果是“单身贵族”，随他扯女人也是他的事，但他至今是有妇之夫，这样乱来，自与形象不合。至于诱奸女生们，当女学生们想留学而请他写介绍信的时候，他的条件就开出来了。比较之下，今天人面兽心的“性骚扰”派大学教授们真是小儿科了。“窃比于我老彭”就差得太远了，两只手的“性骚扰”又算老几呢？人家一只手，早就上床大干特干起来啦！（至于被诱奸的女学生数目，据1995年2月出版的《郭廷以先生书信选》，是“五六人之多”，可见不是盖的！）
彭明敏笔下回忆他偷渡前夜会李敖的事。他偷渡后，谢聪敏、魏廷朝都跟我说，彭明敏最后一个见的是我，他们在彭李会面后未再见面，其实这是联合串通的谎话。事实上，彭明敏最后一晚还同一位会舞蹈的名女人上了床后，才风流而去。
彭明敏偷渡以后，秘密转给我一封信，还附带瑞典美女的泳装相片。信里戏称，里头的美女是李敖在瑞典的读者。我被抓时，信与照片都被警总搜去。我还记得当时警总军法处军法官王云涛开调查庭时，当庭在卷宗中掏出美女相片，手一扬，对我笑道：“你们的美女已被我们没收了！”
我被捕时是在谢聪敏、魏廷朝被捕后的第二个月，由于魏廷朝给我的英雄形象，使我虽然饱受警总刑求，仍旧坚不吐实，免得跟他们的口供搭不上，对不起朋友。后来我才知道，他们事实上已供出每一细节，包括彭明敏秘密写信给我等细节在内，也包括他们在彭李会面后仍与彭明敏见过面的每一细节。但是最后一晚风流而去却是警总查出来的。国民党官方知道彭明敏男女关系上的每一细节，他们证实给我看，不由得我不相信。事实上，我对彭明敏在这方面的惭德，也早有所闻。我被彭明敏诬陷下狱，被刑囚时犹为他辩护，特务们乃举证证明你李先生眼中的彭明敏，私德卑鄙如此，我登时哑口无言，因为那都是真的啊！
彭明敏的“志气”受他“性欲”所累，这一点，国民党应该掌握不少情报。国民党那些抓人关人，只是“形之于外”的作业，另有“藏之于内”的作业，是我们看不到的，因为那都是“极机密”的文件和动作，是外泄不出来的。但是，王八蛋国民党还是百密一疏，在二十一年后，我还是透过秘密管道，从陈绥民手里，取得了当时他们在彭明敏偷渡后，亡羊补牢大力报复的“极机密”文件。文件是当时国民党中央党部秘书长张宝树“谨呈”给“总裁”蒋介石的毛笔恭楷“签呈”，其中两段说：
一、彭逆明敏秽行恶迹资料，应妥为整理，必要时，透过国外内幕杂志揭露其卑劣行径，及其为士林所不齿之情形，使为国际人士及侨胞所唾弃。
二、彭逆潜逃经过，有关单位查明后，应再提报常会。
在同一文件右下角批示栏，有这样的钢笔字：“本件原件奉总裁批示：‘可照办。’”并盖上“中华民国五十九年二月二十日”橡皮印。由此可见，彭明敏不但“大头”不轨，为蒋介石所深知；连“小头”不轨，也为蒋光头所密察。——领袖日理万机，犹不忘理百姓一鸡（大鸡鸡），真可谓察察为暗了。至于蒋密察之下的彭明敏“秽行恶迹”，我相信也并非全属空穴来风，他自己的行为不检，恐怕也正是授人以柄的把柄也。要不是他自己有问题，国民党纵使“最高决策”，恐怕也难以落实到对方的“最低部位”上。……（编者略）有一次彭明敏向我说，他羡慕My Secret Life 一书的作者，因为该作者一生搞过四千个女人。——如果彭明敏的形象是花花公子，他要搞几千个都是他的事；但彭明敏以正人君子、“台独”英雄、为人师表、贵族绅士为形象，他如此行径，就未免太不相称、太伪君子了。不过，当事人彭明敏自己，倒也夷然处之并不失理直气壮。他曾跟我说：“国民党宣传我跟女人的私德如何如何，但国民党的总理、国民党的总裁，他们哪个跟女人的关系不是一本花账！”言下不胜委屈之至，我一边听，一边笑，深感此公真好有一比也！