1964年5月14日，居浩然写来一信，说：“至友吴锡泽君仰慕大名，亟愿识荆，不知能否赐彼电话23163约时一晤？……”吴锡泽曾任台湾省新闻处处长，我想他找我一定有某种公干，就跟他约见了。见面之后，我才知道原来是陈诚想见见我，托他先做安排。我和他约好在5月22日去陈诚家。可是5月21日晚上，我接到五次电话；22日早上，又接到两次。全部电话，不是“副总统官邸”打来的，就是吴锡泽打来的，一再敲定见面时间。到了22日10点10分，见到陈诚，吴锡泽首先解释为什么晚了十分钟，我心里想，他们的官儿，可真做得小心翼翼！见面后，陈诚请我坐在大客厅的长沙发上，他坐在侧面的单人沙发上，此公此时面目清癯而友善，他穿了一件黑色的旧西装，左袖有四个扣子、右袖只剩三个。黑裤黑袜，衣着非常寒酸，跟他豪华的大客厅不能相配。他首先解释他不喜欢住这么气派的房子，并非矫情，可是总统下令盖了这房子，他只好从命。陈诚敬我烟后，一直喝沙士汽水，喝到杯底皆空。我心里想，此公的胃已一开刀再开刀，居然还喝这种东西！陈诚说他读了我写的《胡适评传》，非常佩服。接着谈胡适家世。他说他在民国二十四年，在北平蒋梦麟请客的席上，认识胡适的。胡适曾详询他江西“剿匪”的事，从此结为好友。他说他极佩服胡适，胡适绝不在背后说人话，对他知无不言。他收藏有不少资料，可是有一船资料出事沉了。胡适每次见他都劝他写回忆录。他说“适之先生思想和三民主义相去不远”。由胡适谈到蒋梦麟的婚事。他告诉蒋梦麟，如果与徐贤乐结婚，他们夫妇将不再去蒋家。胡适劝阻结婚的信，也有副本给他。可是大家无论怎么劝，蒋梦麟都不听。后来结婚结出了麻烦，蒋梦麟有信给他，信到他手上，他至今未拆。陈诚怕我写出来，特别说：“此事不能写啊！”陈诚又谈到他发迹。他当十七师副师长，被带去看兵，建议颇得曹师长赏识。武汉事，蒋介石以陈诚威望不够，本拟使何应钦、白崇禧兼，后来才勉强全给了他。又谈到裁军的故事，说陈调元说今天的兵好像叫花子拿棒子，没有棒子，狗就要咬他了。吴稚老说出门总有狗咬，不能因怕狗咬就不出门。他说他去过我的家乡吉林，知道我只有二十八岁，他问我生年，我说我就是你同蒋梦麟、胡适吃饭那年生的。他大笑，说：“那时你还没生呢！”他问到我结婚没有，我说没有，他说：“’三十而立‘才好。”又说：“今天台湾三十岁以下的男士，只有你李先生和蒋孝文是名人。”我说：“今天台湾的年轻人很难出人头地，老一辈的高高在上，内阁年龄平均六十六岁。八十开外的于院长、莫院长实在都该表现表现风气，该下台了。”陈诚说：“你说的全对，我也该下台了。这个问题不解决，一定是悲剧。”不过他最后说：“你李先生还不到三十岁，你前途远大。”我说：“我在部队里看到老兵的一段自我描写，内文是：’我们像什么？我们像玻璃窗户上的苍蝇。——前途光明，可是没有出路。‘我的前途，我看也是如此。你陈辞公二十六岁2月间还是中尉，可是9月就升少校了，四年后三十岁就当少将师长了。如今一个青年军官，想从中尉升到少将，别说四年，十四年也没机会啊！”陈诚听了，为之默然。他说他跟肯尼迪总统谈话，事先美国朋友提供他两点谈话基础。其中之一是基于美国利益来谈。他自己又加上两点：第一，“不要什么东西。”第二，“不谈理论，理论有见仁见智的不同。只谈个人经验，谈自己打仗四十年的经验。”他说肯尼迪死得很可惜，“我跟他谈，他很听得进。”他问到我的意见，我说：一、军队苦闷，训练不彻底。二、内阁年龄太大，青年人出不了头。谈话谈了两个小时零二十分钟，我告辞了。陈诚一再说谈的事太小了，是否耽误了李先生写文章的时间。他劝我多做研究，说李先生前途远大。他送我出门，我上车，车开了，他还在招手。他给我一种不久人世的感觉，人之将死，其言也善，他仿佛要对一个年轻人说些心头话，他找到了我。整个的聊天中，最令我印象深刻的，是他说：“共产党的失败，并不就是国民党的胜利。”我想，这是一种动人的觉悟。可是，已经时不他与了。谈话后九个月，陈诚撒手人寰。三十多年以后，陈诚的儿子陈履安到我家来看我，我们做了朋友。陈履安前后来了七次，天南地北，无所不谈，有一次谈到他父亲死前种种，他说：“死前的病痛非常人所能忍，但我父亲一声不响地忍耐着，我真想象不到那种疼痛是怎么忍受过去的。”我说：“你父亲死得像个军人，他能忍耐病痛，正是军人本色啊。”
陈诚约我聊天后四个多月，当时蒋经国系大员李焕请我吃饭。时间在1964年10月3日中午，地点在台北新台北饭店。先由调查局的杨雪峰接我，吃饭时，杨雪峰也一直在场作陪。据我侧面了解，这次吃饭，原因和安排蒋经国要见我有关。那时李焕是在朝的炙手可热的人物；李敖是在野的令人侧目的人物，蒋经国拉拢人才，自在意中。不过蒋经国和李焕的大脑中，是不能理解知识分子中是有傲骨存在的，我的对国民党不合作主义，使聪明的李焕立刻觉察出来了，所以，他不再安排我和蒋经国见面。李焕请我吃饭的另一原因，是想了解一下我与“台独”的关系。在吃饭前十三天，正好发生了彭明敏案。据彭明敏《彭明敏回忆录（自由的滋味）李敖定本序》回忆：“李敖与《台湾自救运动宣言》无关。可是，谢聪敏、魏廷朝和我被捕后，警总人员觉得该《宣言》文章写得太好（这应归功于谢聪敏和魏廷朝），不可能出于台湾人之手。他们猜来猜去竟然想到李敖，一口咬定是李敖代笔的。审问期间，他们对此一再追问不舍，使得我哭笑不得。李敖也因此更成为特务人员怀疑和注意的对象。这是李敖与《台湾自救运动宣言》唯一的’牵连‘。”正因为特务人员怀疑宣言是我代笔的，所以李焕请吃饭时，就旁敲侧击地问我：“听说这份宣言文章写得极好，是经过你李先生指点或润饰过的？”我笑了起来，我说：“若是我写的或经我润饰过的，一定更好！”李焕听了，哈哈一笑，就不再问下去了。那次饭局，大家谈了两个多小时的话，令我印象最深刻的，是李焕谈他亲历的西北人民的苦况。李焕说他在西北行军，见到西北农民硬是全家穿一条裤子，裤子挂在门口，谁出门谁穿。听了以后，我真的不得不相信唐诗《石壕吏》中“室中更无人，唯有乳下孙。有孙母未去，出入无完裙”的描述，并且感慨于千百年来，中国的贫穷，竟如此“谁谓古今殊，异代可同调”！李焕又谈到西北人民与糖的关系。搞到钱来买糖，只能买到一小包。而此种小包，不是吃的，而是给病人来开胃的。又谈到西北人民对熊的迷信，尽管熊群有害农作物，西北人民仍迷信，视为天神等物，跪求驻军不可杀它们。饭局终了后，季焕送我出门，临别他紧紧握手，诚恳地说：“我会到府上去拜访你。”我姑妄听之。因为我不相信国民党政客的话，后来他果然言而无信。多年后，我在一条龙饺子馆碰到文化局长王洪钧，他也紧紧握手，诚恳地说要到我家来拜访，我想到李焕那一幕，几乎笑出声来，王洪钧是等而下之的国民党政客，其言更不可信。后来我碰到尤清，也表演了这一套，可见什么国民党、什么民进党，都是一样的。近年以来，李焕住我家附近，和我和卢修一受同一位管区警察的照顾。1986年的一天晚上，我和小屯在附近一家小店买东西，在门口碰到李焕，他主动向我打招呼，伸手来握，二十多年不见，此公的记忆力实在惊人。他说他很久没看到我写文章了，其实那时我天天著书立说，只是国民党大员不读书耳！几个月后，小屯晚上从外面吃面回来，她那天穿的是短裤，她说一路上发现有位男士盯着她大腿看，后来才想起，那就是李焕啊！我听了一笑，说：“国民党大员也有他们真情毕露的一面啊！孔夫子活着，都要好色胜过好德呢，何况李焕！”有趣的是，李焕家浴室窗外正对着的，就是卢修一家的后窗。有一次，可爱的女人李庆安笑着告诉我：“卢修一可能偷看我爸爸洗澡。”过了几天，我碰到卢修一，笑问可有此事，不料他郑重其事否认，并指责李焕洗澡时窗户不关好云云，我看他那样认真，为之大笑。后来我讲这一趣事给李庆华听，庆华说：“有一个笑话说：一对夫妻，太太很丑，一次搬了新家，新家浴室窗帘还没装好，太太不肯洗澡，怕别人偷看她。丈夫说：你长得那副样子，谁要偷看你！放心好了。”我问：“你这笑话是挖苦你爸爸？”庆华笑着否认，说：“我怎敢挖苦他？我只是说个笑话。”1998年蒋经国死了十年，李焕出书大表追念，马屁尽出，我大为不满，在《李敖笑傲江湖》电视节目中一连骂了他好多天。朋友奇怪，说李庆安帮你儿子入学，你欠她情；李庆华又是你的好朋友，你骂起人家老子来，竟一点儿都不口软。我说这就是李敖啊！别只看我骂李焕吧，我也为他洗过冤，当尤清捏造历史，说他在满洲国做过办报的汉奸时，我就公开指出这是造谣，我是讲求真相的人，即使对敌人，我们也不可造谣啊。
在文星时，国民党大员我还领教过蒋梦麟，他是爸爸在北京大学时的代校长，在台湾主持农复会，他为了写“西潮”以外自传的事，约我到农复会，谈了许久。他本想找我帮忙，可是他一直不谈报酬，也许他的意思是先帮了再议，可是我的经济情况不允许我做完了再拿钱，所以此事不了了之了。国民党大员还有王德溥，他透过郭鑫生，与我吃了一顿饭。他自道做“内政部长”时反对“户警合一”事，甚令人感佩。我讲话亦颇直杵，颇攻击和他有关的“中医”、“奉命不上诉”及“出版法”等事。他含糊过去，转说他颇为东北出我这种人才而爱惜云。此公在大陆时亦杀手也，毛泽东的大弟毛泽民，化名周彬，在新疆给盛世才做民政厅长。盛世才后来不干共产党了，下毛泽民于狱。在倒向国民党时，国民党派王德溥查案，盛世才秘不交出，显然预留余地，以为反复无常的筹码。后来王德溥坚持由他亲审，毛泽民遂难逃一死，在1943年9月，被盛世才枪决。据王德溥《政海游踪》一书中回忆，当时他“就前楼五开间大厅上，布置成极为庄严神圣的大法庭：全庭一色雪白，残酷刑具罗列满庭，武装战士列队助威……首先传呼久患喘病的毛泽民，严词审讯，一言不实，立即呼喝用刑！如此不到三小时，该四人均先后招认不讳……乃依法判处死刑”。于是毛家又添新鬼矣。
1963年，王尚勤跟我的同居关系渐近尾声，尚勤表示，如果不能结婚，她想到美国留学去。我表示，我在台湾凶多吉少，难免牢狱之灾，我的处境是不适合结婚的。尚勤通情达理，她明白我的真义，决定放洋。不料到了美国不久，却发现和我在一起时不小心有了身孕，她慌张打长途电话来，我问她能不能设法“拿”掉，她说在美国有困难，最后决定就生在美国，就这样地，1964年女儿李文在纽约出生，出生纸上填的父亲名字是李敖。两年后，尚勤把李文送回台湾，希望留在她父母那里，以一年为期，她结婚后再把李文接到美国。后来她结婚了，我认为李文跟她，会给她不方便，决定由我接回。这时已过一年的约定，显然女儿的外公外婆喜欢外孙女，不肯放人了，于是我施用巧计，约外婆带李文看电影，电影散场时，在人丛中我和女儿有计划消失，由我弟弟一面通知外婆“小文已被接回她爸爸那里了”，一面照料外婆安全返家。当晚李文外公王光临等报警来抢李文，当警察查明原来小孩是到她爸爸家的时候，爸爸跟女儿的血亲自然比外公外婆近得多，警察也管不了了。后来王光临气得在电话中大骂我：“你是共产党！共产党！共产党！”河南土话中党字发平声而不发仄声，听来每逢党字出口，都是男高音，闻之尤觉恐怖。因为他老先生是河南省专员出身，他在家乡，官拜少将，为了革命，生杀予夺，不在话下。为了革命的需要，连他的小舅子都被当成共产党杀掉，其凶残性格、其大义灭亲气派，由此可见。逃到台湾后，王少将落魄，下放做台北县南港成德国小校长，人才小用矣！这次为了接我女儿回来，与他发生冲突，他以“共产党”做认定眼中钉标准，就是这样从宽录取的。他在台湾，如果有河南专员万分之一的权力，我早就被当成共产党杀了。多年以后，国民党伪政府开放探亲了，大陆共产党党中央也宣布不咎既往了，有人问他何不回去看看，他摇头说：“共产党饶我，可是被杀的人的家里，若有人出来，给我难看，这张老脸怎么兜得住？”最后，他以八十之年，老死台湾。盖棺论定，此公不失为正直之人，只是头脑跟不上他的正直而已。
我在文星时代，所做的，一如《纽约时报》说李敖的，是一个“火首”（firebrand），一个放火者、煽动者，但星星之火，可以燎原，最后烧得老K哇哇叫，我也被关在八卦炉里，变成火眼金睛。“在这岛上，谁又能比你做得更好？……谁又能比你做得更多？”——王崇五的话，三十三年后仍在我耳边响起，知人论世，这真是我最好的总评了。