《王世杰日记》中说李敖因被拒绝，“彼即因此怀恨”，而在《蒋廷黻选集》书中对他做“侮辱性抨击”。其实，王世杰该不该受公评，根本跟批评者的爱憎毫不相干，相干的只是批评的内容是否正确。我在1965年写《（蒋廷黻选集）序》里说：王世杰卖国、卖了外蒙古，这种史论，其实只不过是历史学家论定历史功罪的普通公论，并不值得大惊小怪。可是，卖国者王世杰不知反省自愧，反倒在幕后透过陈雪屏、黄少谷，向萧同兹施压力，要求删去李敖的序，这一幕后作业，在《王世杰日记》1966年1月5日、1月9日、3月9日中，都一一曝光。3月9日日记中他写：“文星书店萧同兹，将其《蒋廷黻选集》内李敖序文（攻击我和李济之）删去，改装送阅。”就是指此。起先，我为爸爸遗著《中国文学史》写的序，因涉及李济儿子“潜返大陆”，被调查局暗中压迫文星书店删除该序，方能上市。那一次李济是否暗中勾结调查局做手脚，不得而知；但这一次删除我为《蒋廷黻选集》写的序，则全是王世杰暗中勾结陈雪屏、黄少谷、萧同兹诸国民党大员做手脚，所干出来的钳制言论自由的好事！《王世杰日记》还透露出“中央党部谷凤翔等促余向法院控诉其诬毁”，可见国民党中央党部自秘书长谷凤翔以下，都计划假王世杰之手，陷害李敖。只是王世杰心虚，不敢使事情闹大而已。按说王世杰以党派立场、以湖北佬的狭隘心胸，在日记中诬谤立场不同之人，并不稀奇。例如在日记中，他骂赵元任“无耻”、骂杨振宁“无耻”、骂陈省身“无耻”、骂牛满江“无耻”、骂张捷迁“无耻”、骂任之恭“无耻”、骂何炳棣“无耻”（1977年4月22日）……如今骂到李敖，被骂程度且不及以上院士七贤，按说大可一笑置之，一并听其妄言可也。但我李敖岂是这么好说话的，所以我要写出来，诛奸宄于既死、斥无耻于身亡。无耻的王世杰生前死后，欺人太甚，苛于诬人、疏于察己，包括他自己那真正“品行不端”、“行为不正”的儿子王次五在内。王次五即王德劢，其“行为不检，尤其好赌”，明见于1962年11月4日《王世杰日记》；其“涉嫌人头支票案”被扣押、“性好赌博，亏欠不少”，明见于1968年3月6日《中央日报》与3月9日《征信新闻报》。当然，由于王世杰的显赫，从台北市税捐稽征处主任、到基隆市税捐处长、到台湾银行专员，都不因“品行不端”、“行为不检”，而照做不误。至于王次五的太太林美智，更受王世杰用公款照拂。王世杰在“中央研究院院长”任内，曾亲批两张便条，一条上说：“支给林美智医药补助费二千元。世杰。1964.1.3。”另一条上说：“支给林美智医药补助费八百元。世杰。1964.10.12。”这样子把公家的特别费一再给自己儿媳妇的“善行”，当然不属“品行不端”、“行为不正”之列，不过，为人“端正”如此、办公做人如彼，入于无耻之列，也就恰如其人了。
王世杰如此无耻，居然还有人无耻地捧他，此人即许倬云。许倬云是最善于谄媚权贵的一个怪胎，凡是看过他写《寻真理的李济之先生》的人，或是《追念王雪艇先生》的人，都不难看出他多么会拍权贵马屁！我在文星，也不幸认识了一些人，其中之一，是许倬云。我主持文星时，许倬云巴结我，十分卖力。但为了我写文章批评他的主子李济、沈刚伯（台大文学院长），1963年11月5日，他约我和萧孟能、余光中去他家。为了他行动不便，我同意去了。这天我有简略日记如下：
一、南港来的消息：李济读了文章，拍了桌子。
二、夜在吴相湘家，沈刚伯托他转告我：“在过去，我没说过李敖什么坏话，虽然我也没帮他什么忙；从此以后，我也不会说他什么坏话，当然我也不会帮他什么忙。”孙德中在座，对我说台大文学院，在中国还算是好的。我说，正因为文学院在台湾有领导地位，所以我们该更要求它有生气。
三、夜在许倬云家，互恶声相向，光中在座，颇劝慰。
四、晚与孟能决定，拒与李济晤面。
许倬云那晚想在我面前充老大，结果不欢而散，为他始料所未及。后来他写了一封信给“敖兄”，以帮我出国为饵，意图修好，我懒得理他，因为他信中提到的洋教授，在研究胡适上，其实连做我助教都不配！我才不屑跟这些华洋学人打交道呢！过了三年，因为他又来流言又来媚眼，我有一信给他，其中说：
……现在你做了历史系主任，算是你马屁到家。不过你总该知道，乱来是不行的。南港你的女秘书蓝小姐，已被你逼婚得下海做舞女，我特别去访问她，她口中你的劣迹，还多着呢！我都做成了笔录。你去台大，又不自检束，居然整天接送居浩然的女儿，招摇校内外，成何体统……
你又托人转话给我说想暗中帮我出国云云，告诉你，你少来这一套。美国国务院邀我访问我都谢绝掉，谁要你这学界掮客拉皮条？我李敖这辈子，定将守死此地，细看你们横行，并且记录你们的横行。当然你们只迷信权势，不在乎历史，但那是你们的事；我自有我的基督山方法。我只警告你少向我送秋波，也少说诽谤我的话，你若不要“来世报”而要“现世报”，我可以赏给你，只怕你消受不起。你本是残废之人，又会装出一副可怜相，我一骂你，人家就劝我“不要欺负他”，殊不知你专门欺负人，尤其是你追求不遂的女人……
许倬云大我五岁，他一出娘胎就有四肢萎缩的怪症，这种怪症，一百万中只有六个，而他独占六分之一。按说人生有残疾，是天生的，只怪他爸妈，你提它干吗？只是他的学生杜正胜马屁文中，提到残疾“对他日后的人生观、治学态度，及对世情万物所怀抱的信念，有着决定性的影响”。既然如此和他有关，也就不得不提。总之，第一，残疾使这个人占尽便宜；第二，残疾使这个人心理其实有故障，他的见解，有的也就大成问题。杜正胜夸奖他“个人竟然可以没有丝毫避讳地，拿自己外在的缺陷开玩笑”。事实上，我所知道的却有另一面。梁实秋对我说，他们在美国学术会议，会议厅外有高台阶，他看到许倬云很辛苦地在爬，心有不忍，就跑过去扶，不料许倬云顿时大怒，厉声高叫，斥以“你走你的，你少管我！”——梁实秋不小心，伤了许倬云的自“卑”心固属不当，但别人一番好意，自己却大发脾气如此，实未免心理故障也，这是“拿自己外在缺陷开玩笑”的心胸吗？
1964年7月10日，大我三十二岁的徐复观先后撰文说：“以胡适为衣食父母的少数两三人……豢养一两条小疯狗，专授以‘只咬无权无势的人’的心法，凡是无权无势的读书人，无不受到这条小疯狗的栽诬辱骂。”“最近一年来，台湾大学里有一二人利用一个特殊学生，把上自校长，下至助教，骂得一塌糊涂。”“李×骂沈刚伯拒绝朱光潜到台大来任教，这对沈也有影响。”……因为写文章批评士林败类、台大黑暗的，并无别人，按照文明国家的诽谤律，无他人可适用此一情况者，纵未指明姓名亦构成诽谤，所以徐复观骂“小疯狗”自然构成诽谤，何况他文中还用了“李×”字样，更除李敖外别无人了。可是，当我告到法院的时候，台中地院的孙嘉禄法官和高分院的郑红、杨襄明、曹德成三法官，竟说“李×”是李敖，“尚属不无置疑”！因而开脱徐复观，判他无罪！在诉讼过程中，徐复观最叫人看不起的一点是：他一直赖，他写文章闯了祸，却没有敢作敢当的气概、没有公开承认的勇气。他在法庭上，在来旁听的自己学生的面前，公然狡赖得一干二净。这是很令我警异的。单告徐复观不成后，我又找到机会，委托李声庭律师，把徐复观、洪炎秋双双告进法院，但是，1965年11月2日，台中地方法院法官郑学通竟违法以裁定驳回。我提起抗告，指责郑学通“根本没把法律学通”，因为他把“行为不成立犯罪”认为与“行为不罚”相当，这就是大笑话了。我对郑学通的指责登在《文星》第九十八期，也就是《文星》被官方封杀前的最后一期，官方不但封杀杂志，也同时对作者下手，国民党“司法行政部长”“郑矮子”（郑彦棻）借口我“语涉侮辱”法官，下令检察官林奇福对我提起公诉。林奇福是台大老同学，两面做人，在庭上透露他听命上级，情非得已。起诉后法官陆祖光判我有罪，如了郑彦棻所愿。
我被国民党大员郑彦棻整，还有个小插曲。1967年3月16日，我开着我的凯莉小汽车，发生车祸，车的左眼被撞得凹进去、保险杆折损、左前轮撞坏、左门撞弯、上面玻璃纷飞，我的左肘和头都受轻伤，同车的洋鬼子美国人梅心怡（Lynn A.Miles）膝部撞出血来。真够刺激。车祸原因是我开快车，正好碰到另一个开快车的计程车司机，所以就顺理成章地来了一场“相见欢”。梅心怡看我在出事后谈笑自若，当场替我拍了几张照片，他说他要洗出来送人，叫人看看“文化太保”的镇定功夫。出事后，一个五分局的警官察看双方的身份证，一看到我的，就对我说：“嘿，你就是李敖！我们有拘票，正要抓你，快跟我来！”我说：“跟你来可以，不过你们要抓我，却等到我撞车时候才找到我，未免太迟了吧？”他把我带到警局以后，叫我坐在外面，自己进去向长官叽叽咕咕一阵，不料却被打了官腔，他慌忙出来，向我道歉，连称弄错了弄错了，后来我才弄清楚是怎么回事：原来是我被提起公诉时，检察官把传票发到文星书店，传我不到，警官以为我故意抗传，所以才要见我即拘。警官却不知道，检察官早就找到了我，所以他这次表功，竟弄得表错了。
在我跟徐复观的讼案中，有一妙事，即徐复观约我在法院开庭后一起喝咖啡，此中趣闻，我回信写给在澳洲的居浩然了：
……我们上次的笔仗，许多人（如范光陵、林语堂之流）都说我们在“打情骂俏”，他们真不知道你我相思之苦！台湾方面，许多人开玩笑说我你“同性恋”，我们这样心肝来心肝去，倒真的有一点弄假成真的呢！上次我在台中跟徐复观对簿公堂，他对法官大力描写我们同性恋的可能性，他怕法官是白痴，特别加说：“同性恋的意思就是一个人在上面，一个人在下面……”结果法官不耐烦，大声喝止。我在旁边，实在忍不住笑。后来出庭后，徐复观请我喝咖啡，我们谈到这件事，两人又大笑不止。可惜当时你不在场，你若在场，我们两人合力把他按倒在地……该多好玩！唯一的问题是不知徐复观喜欢不喜欢洗澡，他如学王荆公（从不洗澡），那我们就划不来了！
那天开庭后喝咖啡时，徐复观心血来潮，说了一段真心话，他说：“你李先生真是怪人，你念古书，念得比我们还多还好，你却主张全盘西化！如果你来宣传中国文化，你宣传的成绩，一定比我们都好！”徐复观说得没有错，我真是对中国文化最有理解的人。徐复观又说出他当年对妻子不忠在外养细姨的事，自称有“惭德”，陆啸钊坐在旁边听了，一直笑，我也笑，我笑的是：这就是徐复观的厉害处，他会以部分坦白方式表示他跟你肝胆相见，但是别有所图什么，你就得当心了。总之，我的敌人徐复观比同是湖北佬的胡秋原聪明多了，因此他可以两面做人而人不易觉察出来。殷海光《我被迫离开台湾大学的经过》文中，提到胡秋原、徐高阮，并直斥其名，但提到徐复观就改称“某君”，这就看出徐复观两面做人的功夫，他不像胡秋原那么笨，他知道殷海光有其清望，不能完全打死，因此既斗争又联合，使殷海光衰病侵寻，他有份；但衰病侵寻后又表演问疾吊丧，他也有份，此公最拿手演这种戏——在殷海光生前，打击殷海光；等到殷海光病了、死了，又冒充是他的知己，他一再发表改名《痛悼吾敌，痛悼吾友》等文章，并和殷海光的学生陈鼓应等串通起来，把殷海光描写成临终的悔罪者、临死前对中国文化看法的转向者，这是对殷海光最卑鄙的诬蔑。殷门弟子坠入徐复观术中而不自知，被徐复观统战得七荤八素，真丢死人。可见“学术与政治之间”的奸雄，一旦混入学界，就好像美洲土狼（coyote）进入羊群，效果非凡之至。为什么徐复观可以又做坏事又不被恶名？除了他的狡狯外，他也会闪露一点真性情，不全是假，令人对他另眼相看。1986年3月28日《中央日报》载：三十九岁的工厂职工接瑞华，酒后观看电视连续剧，不知何故突然捣毁电视机，凌晨被家人发现上吊自杀断气命绝，其妻抚尸恸哭，悲伤逾恒云云。我联想到蒋介石当年从广播中听到李宗仁当选副总统时，曾捣毁收音机；徐复观从电视中看到梁容若著书得奖时，曾捣毁电视机。可见“自天子以至庶人”，虽口诵圣人“不迁怒”之训，但动起手脚，却都性好此道也。只是收音机何辜，电视何辜，令人不解耳！但徐复观能有此种动作，亦足发人一噱。更有趣的是《联合报》驻日特派员司马桑敦告诉我的故事，司马桑敦说：“徐复观虽然年轻时在日本留学，但他的日文一塌糊涂，简直词不达意。他老了以后再来日本，住旅馆，想找女人，就向旅馆老板娘求助，他不会说叫姑娘的日文，乃抓耳挠腮，急得满面通红，最后一边用手指自己的生殖器，一边向老板娘鞠躬作揖，示拜托状。”司马桑敦一边说还一边学徐复观，好玩极了。徐复观留学日本却日文一塌糊涂，好像是真的。我中学时去省立台中图书馆听演讲，主讲人是《日本法西斯主义》的作者大学棍安冈正笃，徐复观陪他来，那是我第一次见徐复观，可是我就没听见他对安冈正笃讲过日文，岂不怪哉？