蒋家虽然男丁兴旺，可是也一门七寡（蒋方良过世后变一门六寡）。民间有两种传说，一是两蒋灵寝的风水问题，过去想要“光复大陆”，所以他们过世后都只是暂时停灵在台湾，没有入土为安，导致其家族的衰败。另一个说法是，两蒋造孽太深，加上其第三代一直在台湾人心目中印象不太好，不时有恶行恶状的传闻流出，所以也有很多人觉得这是报应。
说得难听一点，蒋家本家第三代除了两位“庶出”的以外，都是一些不成事的纨绔子弟。第三代三个男人，孝文、孝武、孝勇不约而同都有在军校的经历，这当然是家族的期望，可也是失望，三人没有一个从军校里毕业，几乎都辍学收场。想想也有道理，作为领导人的儿子，家里有严格要求，又在众人目光下长大，产生很大逆反心理是很自然的。
蒋孝文狂妄嚣张，仗着自己是蒋家后代，经常在外面闯祸闹事，无照酒醉驾车、打架，殴打警察只算小case，还乱开枪差点杀了一位侍卫，没有人治得了他，就算进了军校，还是死性不改，只好把他送出境，让他自力更生去。
过了几年他回来了，进入党政单位任职，工作颇受好评，开展工作顺利，不过大家心里也都知道，谁敢不买他的账就走着瞧。蒋孝文的个性并没有因出境了几年就收敛，反而变本加厉。
20世纪70年代末，台湾有一位电影明星叫谷名伦，年轻帅气，演技又好，多次拿到电影大奖。这样一位演艺事业如日中天的明星，有一天，毫无预示就跳楼自杀了，留下许多谜团。当年社会上谣言四起，最多人相信的就是有人想要抢谷名伦的女朋友，但谷名伦一直不肯让步。后来那个人就跟谷名伦说，大家都是有头有脸的人，就约在某个大楼楼顶，把事情好好讲清楚，这样也避人耳目。谷名伦太单纯了，结果一到那里，那个人二话不说，叫两个大汉架着他就从楼上扔了下去，拍拍屁股走人了。
这个传闻传播之广，以至于后来我在看《古惑仔》电影时，每次看到这一段“我大飞人那么随和，怎么会对你东星耀扬怎样，来人啊！把他丢下去”，总是会想到这件事，而那个人传说就是蒋孝文，只是在那个时代，没有人敢公开讲，就算掌握证据也不敢办。
蒋孝文后三分之一的人生，身体状况都不太好，据他的弟弟蒋孝勇说，蒋孝文先天遗传自蒋经国的糖尿病，每天都要服用降血糖的药。有一次，孝文和同事聚餐喝醉了酒，忘了服药就昏迷过去了，大家一开始以为他喝醉了酒才一直睡，因此延误就医。几天后他醒过来了，但是脑干受到损害，智力也因此退化到七八岁，后来19年都在病床上度过，最后死于咽喉癌。
这是个对外的说法，可是仔细想想，到底什么病会伤到脑神经呢？这又不得不让人有更多联想了。大家都知道这位蒋大兄常常跟一干酒肉朋友流连于各种声色场所，又仗着爸爸跟爷爷的权势到处乱来，所以很多人说，他得罪了许多黑道大哥，黑道大哥又不敢明着给他教训，因为他家可以说是台湾最大的帮派，所以就来阴的，投其所好，送了一个有“国际镖”的妓女给他享用，让蒋孝文得了这种难解的“国际镖”……后面的事就跟对外宣称的病情差不多了。
最后他在蒋经国去世的来年，也去见了他的爷爷和爸爸。