我要离开“国关中心”，基本上是一心想过我狱中那种平静与苍茫的生活，息交绝游，谢绝人事。我的经济基础是我坐牢前留下的两户房子，但坐牢时，都被我弟弟趁火打劫，伙同溺爱他的母亲，私下予以抵押，抵押了又不缴利息，以致鱼烂河决，难以收拾。最后吴俊才老师请保安处出面，保安处转由林家祺（他是非常练达的干才，最有化敌为友的本领，后来我隐居时，一连五个半月不下楼，还是他有办法把我请出家门的）个人出面见证，“逼迫”华侨银行以二百三十万买下水晶大厦房子。我还给该行一百万欠债后，所余又还了另一户房子的三十多万欠债，最后手上不过百万元，靠着这点钱，我计划东山再起。这时旧年将届，我正开门整修房子，萧孟能突然而至，抱怨说前几天在百货公司碰到我，我竟不同他说话，暗示我有人跟踪，如今他决定还是来看看我，跟我恢复邦交，并说他年关需款，盼我把一百多万借他几天，我无奈，只好同意了。不料旧年过后，他告诉我他身陷出售水晶大厦困境之中，欠我的钱无法还，除非我下海帮他解决。我无奈，只好同意了。于是我日日坐镇水晶大厦，帮他从官方到私人，从私人到他小姨子，个个文书往返或个别交涉，费了好几个月，费尽力气，兼做土木包工，才算大体解决。萧孟能依诺送了一百万给我，我连同旧存，买下敦化南路金兰大厦十二楼的房子。搬进去以后，我的生活基调还是息交绝游式的，但有一笔财路，大大改进了我的经济能力，那就是辜振甫收购我的一批股票钱。原来这批股票，是辜振甫成立“中国合成橡胶公司”时送给萧同兹的，当时是二十五万元。萧同兹死后，由萧孟能继承，因五年不涨，持之乏味，就转卖给我，因此我成为该公司的股东。先是我在1976年6月，在“仁爱庄”时看报得知有所谓“中国信托投资公司”信用卡发行，只要存五万元即可自然取得，不必靠人介绍，我感于政治犯出狱后处境困难，有信用卡在手，方便许多，如今既可在不求人条件下持有此卡，乃在1976年6月10日汇去五万元，依法成为该公司五万元小股东。没想到我买下萧孟能的“中国合成橡胶公司”股票后，被我发现在“中国合成橡胶股份有限公司股东名册”中，信托投资公司所占股数竟超出总股数百分之五十后又多超出一三一、四一五股（即近占总股数百分之五十四）！完全违反“财政部”不得超过百分之四十的规定。规定目的本在防止“‘信托公司’利用信托资金购买其他公司大部分股权，并从事经营，无异并吞其他企业”，而“中国信托投资公司”显然违法，结果形成我参加的两个公司相互之间有大吃小，左手吃右手的怪现象，因而发生复杂严重的冲突。
冲突公司
造成冲突之祸首
造成冲突之被害人
“中国信托投资公司”
董事长辜振甫
信托资金委托人李敖
“中国合成橡胶公司”
董事长辜振甫
股东李敖
我乃在1979年3月26日起，以股东身份三次发函中国合成橡胶公司质问，并在4月3日派我弟弟李放参加股东会议，三天后我有信如下：
本公司1979年股东常会，于4月3日召开，本人在保留诉讼权利下，委托舍弟李放代理出席。经李放于会后一小时内，整理开会重点，特写奉如下，作为备忘录。
一、开会通知常会“上午10时30分”召开，同时有辜振甫先生“中午12时0分敬备菲酌”的请帖，证明一年不见，同聚一堂，会程只安排一个半小时时间。在开会以前，一年之中，公司对股东没有寄出任何一片有助了解的资料，礼貌上本已欠缺。开会时又只安排一个半小时，实在太目中无人。如果一切虚应故事，一个半小时已多；但要认真讨论，那就绝对不够。这次常会，因为本人前后三封信，总算象征性地讨论了一下，已经拖到12点半，无法结束。经李放提出，一切改为书面详复，这样不但准确，并且可使没出席的股东有所了解。承辜振甫先生满口答应，于是散会。整个过程，是两个小时。
二、会一开始，负责人就提到刚才10点钟收到李股东的限时挂号信，对通知开会日期异议，于是一位“王律师”出现了。他说据“经济部”的命令，发信日要算一天。李放说李股东根据的是法律，依法命令抵触法律者无效。但公司负责人坚持要开会，李放说此事只好等复李股东信后，依法解决。
三、会一开始，辜振甫先生请人把本人第一封和第三封信宣读一遍，本人很感谢辜振甫先生的大度与风度，他的风度一直很好。
四、公司负责人并没针对本人的信切实答复，只是挑着答，时间不够也是原因之一，他们表示了下面几点：
（一）香山土地申请的耽误，是“建设厅”的错误（但没能解释为何不依法告“建设厅”，要求“政府”赔偿）。
（二）林园买地是看着地图买的，没实地去看。
（三）经营方面承认错误太多、太慢。
（四）因为求功过急，难免有错误。
（五）在林园的工厂，是林园第一家，问题特多。
（六）在台湾独家生产资格，乃是负责人辛苦取得，此中创业甘苦，李股东有所未知。
（七）他们为公司节省了不少钱。
（八）中油公司的塔底油不适用，他们没能预先注意；表示中油公司对自己产品亦不十分明了，不给样品，他们以为可以合用。
（九）“中国信托”入股大吃小，是“中国信托公司”的问题（此事由辜振甫先生特别表示经“财政部”特准，李放请出示特准文件，辜振甫先生同意，当卷宗拿到辜振甫先生面前时候，有人对辜振甫先生耳语，于是拒绝出示）。但辜振甫先生保证后年投资报酬率为百分之三十五点八八。后年起，至少可年赚八千万。公司一赚钱，“中国信托”就撤退。
（十）邮局证明，提不出来。
五、负责人都有承认能力不够以致造成经营不当的表示，但给人印象是甲朝乙身上推，乙朝甲身上推，然后甲乙又一齐朝外面人头上推，再小心翼翼地朝辜振甫先生脚下推。辜振甫先生也承认能力不够，自认外行，但他也未尝不推——推给他同父异母弟弟已离开本公司的辜伟甫先生。他说六十六年（1977）前都是辜伟甫先生实际主持的，他本人六十六年3月15日才开始管事。他当选董事长，人正在国外。这就是告诉我们，他是“黄袍加身”才干了六年至今的。
六、辜振甫先生在表示惭愧以后，宣布他不要干董事长了，他私人名下和“中国信托”他代表名下的表决权，他也全部放弃。他的勇于负责的态度，很令人佩服。但是这一形式上光明磊落的表示，立刻引起了他左右支持者和劝进者的顿失所依之感，纷纷大叫这怎么可以！这样不行！都连任！一切都维持原状……于是叫嚣鼓掌，没经过任何合法表决程序，就说一切都通过了。李放回来告诉本人说：“他好像参加了一次西装笔挺的暴民大会。”
这封信发后六天（4月12日），我又有长信给“中国信托投资公司”，指出：
贵公司负责人所为，实已在“刑法”第十五章伪造文书罪至第三十一章侵占罪至第三十二章诈欺背信罪之间。贵公司衮衮诸公，无一非此岛上“有头有脸”之财阀阶级，今竟利令智昏如此，通谋由辜振甫先生一马当先，以特权总归户姿态，上通当道，下凌百姓，目无有条之法，手握非分之财。如此横行，本人绝不干休。先致此信，请答复、谢罪并赔偿。如不获合理解决，本人将续循舆论与法律途径处理，特此正告。
辜振甫收到信后，自知事态严重。他挽小姨子华严出面，前来谈判。于是，华严带了她的许多新作，到我家来，十多年不见，相见甚欢。华严是风华绝代的女人，我非常喜欢她。首先谈到严侨的去世，华严和我都不胜伤感。然后“政经分离”，谈起辜振甫。华严说：“辜先生自感对李先生很抱歉，我姐姐辜太太本来也想一起来拜访李先生，我说我跟李敖最熟，还是我自己来好了。这次纠纷，的确公司方面不对，现在愿意以一倍的价钱，由我出面，买回股票，我是你‘师姑’，请给我面子。”我说：“我老师被捕时候，严师母带了三个小孩到台北投靠亲戚，可是到处吃闭门羹，谁给了她面子？其中辜振甫最可恶，我今天要跟他算二三十年的旧账，绝不轻饶他。”经华严好说歹说，最后以八倍价钱，买回股票，作为“答复、谢罪并赔偿”，才算出了我累积二三十年的一口恶气。
后来华严再来我家，完成了退股手续。我在11月19日，请来了已经十多年不见的严师母，当面送了十万元即期支票给她。我告诉严师母：“这个钱你可以拿，这就是三十年前对你闭门不见那人的钱，今天我总算给你出这口恶气。”严师母哭了，她收下了钱，收下了温情与旧情，也收下了人间绝无仅有的李敖式的正义。后来她特别亲手做了西点请我，表达她对我的感谢。
从严师母的口中，和严方、严正的口中，我得知了严侨死前的一些情况。严侨死前六年，他已经遁入皈依宗教的境界，绝口不谈人间的许多事。他皈依的是密宗，家里佛像、法器一大堆，整天耽迷在这里。他的师父是一位屈老师，叫屈映光。我听了一笑。严师母们问我笑什么，我说你们不知道屈映光是谁，我可知道他是谁。他是民国初年的大军阀啊，是放下屠刀的大军阀啊！他们听了，顿时一惊。屈映光垂老学佛后，变成了有道之士，严侨很信服他，为了怕他老眼昏花，看不清文字，特别写斗大的粗笔字，向屈映光上书不绝。我参观了严侨的遗物，看到了这些佛像、法器，和这些走火入魔的上书等文件，心里为之浩叹不已。严侨说他“不断寻觅二十余载”始得成解脱，其实他错了，他其实没有真解脱，因为他“寻觅二十余载”，最后取代自己的，只不过是更旧的玄学而已。恰像那外国许多远离共产党信仰的理想主义者一样，他们最后皈依的不是独立自主，而是圣母与上帝——他们永远不是自己的主宰，风霜与苦难打倒了他们，他们不能不抱佛脚！
可怜的是，严侨最后的佛脚，也是假的。严侨的父亲严琥，在1962年9月22日死在大陆。他在死前十五年（1947年9月2日），写信给严侨的弟弟严僖，就说道：
真实的佛教，颇有高明之处……不过中国的佛徒，十有八九皆十分庸暗，因“广大”之名而引了许多邪神野鬼，此最为可惜。《金刚经》云：佛无有定法可说，无定法者无偶像之成见也。又曰“无所住而生其心”，无所住，则不为一切法所拘囚，自然日进不已矣。然而无成见、无所住，非无头无脑、无主意之谓，佛之头脑在何处？在智慧，故曰金刚般若波罗密，言智慧如金刚，能摧坏一切愚暗烦恼，令人到彼岸也。故为佛徒而不求智慧，只讲礼拜、烧香、祷告是佛教之大罪人，非佛徒也。虽信得性命不顾，亦非佛徒也。只是邪教而已。
佛教不拜偶像，《金刚经》说：“若以色见我，以音声求我，是人行邪道，不能见如来。”你做佛教徒，为何行邪道。可惜了！
可怜的严侨，他在生命的晚年皈依佛门，竟也皈依错了。他千辛万苦去做佛教徒，可惜却误信了邪教！当然，严侨绝不以为他走错了路，相反，他认为他在子夜里，在孤单里，已经成功地摸索到了彼岸。智慧如金刚，多年的折磨，使严侨的金刚已坏，可惜他已老惫，已懵然无知。在五十五岁那年（1974年7月31日），他终因心肺衰竭死去。回想他生的那年，他的祖父严复曾兴奋地写诗期许这个长孙，告诉他：
神州须健者，
勿止大吾门。
又告诉他：
震旦方沉陆，
何年得解悬？
太平如有象，
莫忘告重泉。
但是，五十五年过去了，在严侨的灵堂上，赫然有他太太叔祖林柏寿的横挽——“怆怀宅相”！可怜的严侨，他以不止光大吾门而生，竟以怆怀宅相而死。《北齐书·李浑传》记邢晏赞扬李绘，说：“若彼云雾，如见珠玉。宅相之寄，良在此甥。”严侨、严侨，他被资本家这样一挽，真要死不瞑目了！