我在1961年8月18日考进台大历史研究所，苦于生计，由姚从吾、吴相湘两位老师之介，进了罗家伦、陶希圣主持的“中华民国开国五十年文献编纂委员会”，做临时雇员，每月一千元，帮忙找开国文献，但不撰写什么。罗家伦是“五四”风云人物，跟我长谈了一次，印象最深的是外传他“一身猪熊狗”，见之果然，长得真是又怪又丑，更糟的是他的声带，此公声带有异，发音沙沙作响，好像公火鸭似的，他大夸我的文章多sharp，念出sharp这个字，因有sh的音，更是沙沙，非常好笑。其实他也可以sharp啊！可惜他整天做官、办党、写毛笔字，所以一点儿也没当年“五四”的影子了。我后来写《胡适评传》时，向他主持的国民党党史会借《竞业旬报》，他同意了，但要我不可透露来源，其畏首畏尾心态，有如是者！陶希圣做过汪精卫的宣传部长，以汉奸名，为人阴险外露，他拉拢我入国民党不成，最后把我请走了，请走后还写文章骂我，实在卑鄙。我被陶希圣请走后，另一国民党大员张其昀对人说：“人弃我取，我想请李敖到我这边来。”当有人转达这一好意后，我表示：“我已经后悔去陶希圣那边了，我再也不要跟他们有任何干系了。”虽然此事息于未萌，我也从不认识张其昀，也没见过此人，我倒觉得他不无知人之量。
我进文献会前，已投稿《文星》；到文献会后，与文星关系愈来愈近：离文献会后，索性全部文星了。跟文星合作，首先改变了我的“经济结构”，当文星老板萧孟能把第一批写书稿费一万元交到我手上的时候，我真是开了洋荤。——我有生以来，手中从来没有握过这么大的数目，当然我看过一万块钱是什么模样，但那是在银行，钱是别人的，这回可是自己的，感觉完全不同。与文星合作，虽然最后成为“魔鬼终结者”，但不论自己怎么“声名狼藉”、怎么得、怎么失，在经济上，我却从此走向“有一点钱”的不归路，我终于逐渐摆脱了穷困的岁月，“一钱难倒英雄汉”的日子，对我终于远去。文星结束时，我有了一户三十二平方米的公寓房子，这是我生命中的大事。——从二十六岁时还向朋友李士振借钱二百二十元付房租做房客，到三十岁时迁入自己价值十二万的“国泰信义公寓”做寓公，当然对我是大事。我心里至今感谢萧孟能，虽然这是我劳心劳力冒险犯难所应得，但有此机缘，不能不说和他有关。——一笑以蔽之：恩怨情仇何足数，能数的，起自一万元最具体了。
这一“国泰信义公寓”，是四楼公寓的顶楼，总价十二万，六万元付现进门，余六万元分期付款。我这户东面两户是文星资料室、西面一户由陆啸钊买到，四户相通。在起造过程中，我发现房子盖得不老实，偷工减料，面积也不足，我单枪匹马，跑到国泰建设公司去理论。它的老板蔡万霖亲自出来，很傲慢地向我威胁说：“李先生，你知道我们蔡家兄弟是什么出身的？”我说：“你们是流氓出身的。”他听了我这种单刀直入的口气，吓了一跳。我接着说：“蔡先生，你知道我李某人是什么出身的？告诉你，我也是流氓出身的。不过我会写字，你不会，要不要打官司、上报纸，你看着办吧！”蔡万霖不愧是聪明的土蛋，他识时务，立刻屈服了，赔钱谢罪了事。他之所以有今天，富而好“李”而不好讼，自是原因之一。这土蛋当年没今天这么胖，今天纯粹已是脑满肠肥兼满脑肥肠的家伙了。这土蛋变成世界十大富翁之一后，深居简出，住在我的隔邻大楼“霖园大厦”，警卫森严，有一天我在京兆尹吃饭，“霖园大厦”豪门突开，我遥望对面蔡万霖家过年大张红幔，上写“金玉满堂”四字，觉得好笑。《老子》书中说：“金玉满堂，莫之能守；富贵而骄，自谴其咎。”当然土蛋蔡万霖是不懂这段古书的。蔡土蛋不懂古书，却懂颠覆三民主义，且和孙中山好有一比。孙中山做钦命要犯时，满清政府按照惯例，把他的姓名更改以丑化他，在公文书上，“孙文”变成了“孙汶”；蔡万霖做一代财阀前，土蛋按照迷信，把他的姓名更改以美化自己，在公文书上，“蔡万林”变成了“蔡万霖”。两人不同的是，前者加水、后者加雨而已。孙中山讲三民主义，发明土地“涨价归公”之说，自以为得意。但这种闭门造车、一相情愿的主义，其实是没有可行性的，因为“涨价归公”要能实行，乃以土地有无移转为要件，若土地根本没买卖，则对有买卖者而言，即为不公：若对没买卖者抽税，则因根本没买卖而增加负担、因根本未获涨价所得而增加税捐，又是不公。可见没那么容易！如今国民党伪财政部赋税署官员表示：大财阀炒作房地产获取暴利，并不是因为他们逃税，而是政府课不到他们的税，因为他们买到土地以后根本就不卖，所以土地增值税也就无从课起，“涨价归公”也就徒呼负负！土蛋蔡万霖已经阔到不卖房子只租房子了，孙中山想得到吗？多可怜呀，会做梦的革命家！做了半天梦，加雨的，打倒加水的。孙中山被蔡万霖打倒，我却打倒过蔡万霖，只是小规模的一次而已。而在颠覆三民主义上，他和我却有志一同。虽然各搞各的，却正巧殊途同归，亦足发噱也。
1961年6月1日，共产党出身的谢然之接任国民党第四组主任。在他接任后五个月，同年11月1日，我在《文星》发表《老年人和棒子》，从此兴风作浪，使国民党怒形于色、谢然之喜上眉梢。国民党怒的是，李敖从文化思想上挖它的老根；谢然之喜的是，又有一票封杀的大买卖可做矣。在谢然之的带头媒孽下，《文星》处境日渐恶化。拖到1965年11月，正好发生了谢然之与余纪忠公开冲突事件。余纪忠在11月29日的《征信新闻报》（《中国时报》前身）上，以社论“党纪国法不容诬陷忠良——请谢然之交出证据来！”为题，质问这个国民党“败类”，我索性“趁火打劫”，一方面请萧孟能去找余纪忠，取得联合作战共识；一方面以《我们对“国法党限”的严正表示》一文，用矛盾战法，引蒋介石言论以讽谢然之。12月4日，《中央日报》登出《中央四组与（征信新闻报）双方表示误会冰释》。后来余纪忠向萧孟能抱怨，说你们出手这么重，可不太好。同时12月3日的《公论报》上以短论评论，说：“有兄弟两人，因细故误会，偶尔失和。做邻居的人，应该善意规劝，使他们重修旧好。绝不可以大唱’反调‘，推波助澜。”我看了一笑，心里想：一点也没错啊，他们是“兄弟”，我们是外人，说得可真好！我写《我们对“国法党限”的严正表示》一文，表面上，是抨击国民党“中央党部”第四组主任谢然之的作风；事实上，只是“为例”以概其余，隐指国民党总裁言行不一，未按“宪法”规定，把党部自司法界和军队中撤出。这篇文章构成了《文星》被消灭的最后条件，杀身之祸也就立竿见影了。杀身之祸是那年12月间筹印《文星》第九十九期时发生的。第九十九期预定1966年1月1日出版，可是12月15日，警务处转下警总（54）训唤字第8706号代电查禁《文星》第九十八期；25日，又发生了情况，台北市警察局五分局（中山分局前身）的警员直扑中山北路一段67号清水商行印刷工厂，收扣了部分稿件；27日，由市长高玉树出面做狗腿，下达了停刊一年的命令。一年以后，谢然之主持的第四组秘密行文给萧同兹，不准复刊，《文星》杂志从此便进入历史了。在澳洲的居浩然看了我这篇杀身之作后，写信来，责怪这篇文章好像在“清君侧”，其实仔细看去，并非如此。君之侧固然是无耻小人，君之本身，亦反证出“上梁不正下梁歪”的因果责任。蒋介石的左右在为他朗读这篇文章后，立刻气得下手令：“该书店应即迅速设法予以封闭。”可见伤到要害，蒋介石本人都感觉出来。当然，在那种“冰河期”中，写这类文章是无法畅所欲言的，只能欲说还休地点到为止。正因为这篇文章有这种缺点，所以在多年以后，它正好用来彰显出当年文禁文网是何等威风，而我们在那种威风不敢捋虎须的勇气，是今天“不知稼穑之难”的青年人所不能想象的。虽然国民党即时查禁了《文星》第九十八期，禁止这篇文章流传，但是海外报刊上，却颇多转载。后来我又写了一篇《我们对“言论立场”的严正表示》，寄到海外，其中掀了谢然之不少底。这两篇文章在中国言论自由史上，都有它一定的地位，自不待言。谢然之权倾一时之际，住在天母三路35街5号，看中了下女，奸之成孕，被太太发觉，怒将孕妇赶出家门。后来太太一想，自己既然不能生，何不收个儿子？于是遍寻下女，找了两三个月才找到。不料下女拿乔，敲了两万元（近四十年前的两万元），才把儿子交出。谢然之的无行，此为一端。但无行没关系，他仍深得另一无行者蒋经国的欢心，后来自第四组主任荣升中央党部副秘书长，再外放为驻萨尔瓦多大使。这一外放，放出了麻烦。——大使卸任后，他对蒋家王朝已无信心，乃抗命不归，见风转舵，投奔美国。蒋经国气得要命，但对小人之叛，毫无法子。1981年，许荣淑《深耕》杂志第八期刊出谢然之在美不归的事。谢然之居然老脸皮厚，写信来更正。说他只是“来美疗疾。……大节所在，义无反顾。……鄙人因病滞外，纯系健康问题”云云。《深耕》主编林世煜问我怎么处理，我说信可以刊出，但是注明除非谢然之肯回来，否则一切自谓忠贞，都无以证明。谢然之当然不敢回来，他的更正都是假的。同年11月7日，《自立晚报》刊出省主席李登辉在省议会公开承认国民党中“有彭德、谢然之等败类”，我看了哈哈大笑。我说，国民党搞出这些败类来防范我们的思想，但是真正出问题的，却是国民党自己。国民党自作自受，真活该啊！同时，我忍不住要质问：你们他妈的国民党到底怎么回事？你们当年豢养这些忠贞分子，职司钳制言论之责，整天整我们，说我们思想有问题，现在时穷节乃见，原来有问题的，全是你们窝里的，这下子可怎么办？人是你们用的，如今出了纰漏，你们没有一声自责、没有一句抱歉，好意思吗？说你们该负道义责任，太抬举了，你们该负的，其实正是不义责任。为了你们的不义，多少年的岁月与心血，都耽搁了、泡汤了，你们的祸国殃民，可真不小啊！