外省人中还有一个特殊的人群——大陈人。浙南大陈岛在1949年后是国民党军队在舟山群岛的重点基地，到了1955年，国民党决定从这里撤退，岛民们害怕“共军”占领后会把他们视为“国特”，将近两万岛民像逃难似的随国民党一道撤离。来台湾后，国民党宣传大陈人“不愿接受‘共匪’统治，愿至复兴基地投入‘反共大业’”，称为“大陈义胞”。由于大陈人原本就是以渔业为主，所以到台湾后，他们的聚落虽分散在全台各地，但都在渔村旁边继续捕鱼，大陈人可说是在以军公教为主的外省人中的一个异类。
大陈人对于国民党和“蒋公”忠诚无比，所以，在高雄旗津岛上的大陈村，还有两座供奉蒋公的庙宇。
至于那些单身来台的基层士官兵，他们算是外省人里最可怜的一群。一开始，他们还能住在部队里，可是退伍后问题慢慢浮现，他们离乡背井，既没有钱又没有一技之长，在台湾又没有亲人，到了社会上该怎么办呢？
在台湾当过兵的人都知道，在当兵的时候一心想着退伍，等到真的要退伍了，又觉得前途渺茫，不知道该怎么办。1950年代开始，单身的外省老兵也面临着同样的问题，情况还更严重。当年台湾当局实施“精兵政策”，让老弱残兵从军中退下来，所以退了一大批人。这些阿兵哥要退伍了，只发给你一些钱和几件衣服就把你踢出去。唉……谁不是人生父母养的，都想留在家乡，需要你的时候就用虚幻的民族大义当作号召，不需要你的时候，也不管以前是谁把你带到台湾来的，现在回不回得了大陆，踢出去放牛吃草，自生自灭。
20世纪50年代初在台湾的“国军”，除了南部孙立人的新军及近千名军官堪为精锐战力外，绝大多数的部队里，军心与军纪已经严重涣散。而各部队员额浮报不实，什么冒名顶替、私下换职、兵械流失、兵籍番号混乱等情形尤为严重，影响所及，台湾社会各地充斥散兵游勇，军队驻地的周围也不时发生军队和乡民冲突的事件。据统计，20世纪50年代每年取缔散兵游勇的数量平均在三千至一万名，颇为惊人，而实际数字恐怕更甚于此。
那几年散兵游勇问题已经够严重的了，退伍军人一来又雪上加霜。台湾社会上突然出现了很多外省流民，没了钱就乞讨，有钱就整天酗酒闹事，派出所人满为患，成一大社会问题。好一点的自己想办法搞些小摊，卖些烧饼油条、包子馒头或家乡小吃，要不然就去当保安或拉三轮车（几十年后与时俱进，他们改开出租车），或者，有些人也以收破铜烂铁为生，没有工作技能的这群外省退伍军人，只能做这些最低下的基层工作。退伍军人美其名曰“荣民”，其实在那种状况下，一点荣誉都没有。
但也不是所有退伍军人都只能在基层混，当年有很多响应“十万青年十万军”的青年军战士，因从军中断学业，打完抗战打内战，待来台青年军解散后，知道机会来之不易而努力继续学业，其中不乏有人成为知名学者。如果是军官，那情况会好一点，退伍后仍然可以住在眷村，还帮你转业，可能在公职里给你安排一个位置。如果教育程度还行，就丢去教书。有一阵子台湾的中小学出现了一批讲课讲了什么学生都听不懂的老师，学校不想收都不行，如果不幸教到英语，学生就惨了。
另一方面，国民党仍企图“反攻大陆”，所以继续强迫有过战争经历的精壮年轻士兵留下，不管你当初在大陆是志愿或被迫从军，通通都被晋升为士官，服务年限也相应延长，士兵须年满40岁，士官要满50岁，士官长则要满58岁才能退役。有些人就这样继续服到最大年限。20世纪七八十年代的台湾军教片里，在一片年轻的兵当中，总有这么一个角色：操着外省口音，穿着军服却每天在营区无所事事，可能偶尔会去光顾一下福利社小卖部，从兵到营区司令都要敬个三分的老士官长。这个角色除了常用来对比老兵跟新兵的观念，制造笑点外，也常承载了制造悲情感人桥段的责任。几十年来台湾男生去当兵，在部队里一定都遇过这种人，他们要不是性格特散漫、不管事，要不就是特变态扭曲，而电影在某些方面也呈现了这一点。这种角色广为人知，以至于过去在台湾一提到“士官长”，大家就很自然地想到这群一直在部队里的外省老士官。至于现在，在这个充满基情的社会，“士官长”的功能又变了，一提到“士官长”，就知道是负责丢肥皂的。
放任这一大批没有工作技能的退伍军人在社会上也不是办法，如果还在当兵的人看到退伍后这种处境，也会在心理上受到影响。所以，20世纪60年代开始就有个计划，将这些退伍或者想退伍的外省阿兵哥，组成工程队，进行各项重大工程的建设，算是兼顾了对荣民的照顾和重大基础设施建设的人力需求。
这些荣民的代表作就是台湾的中部横贯公路。台湾西部多平原丘陵，东部多山地，整个岛中央有险峻的中央山脉。过去东部被称为“后山”，建设远远落后于西部，就是因为交通不便，如果要从西部到东部，都要往北或往南绕一大圈，相当不方便，故有修横贯公路的计划。当然在那个时候，一开始是基于军事理由来修这条路的，可是后来这条路给东部以及山区带来的经济意义更大。
这条路从平地、丘陵，一直到高山，再到东部的激流峡谷，大多属崇山峻岭、悬崖峭壁等地质敏感区。在高山开路过程当中常常还要面对地震或台风等天灾，加上脆弱地质，让这项东西横贯公路的工程，成为难度极高的工事。由于无法使用大型机械开拓挖掘，大部分工程全由人力一锹一铲、一斧一凿完成。整条公路最鬼斧神工的一段就是东部花莲的太鲁阁峡谷，在坚硬的大理石当中，仅用简单的爆破和铁锹挖，在悬崖陡壁中开凿出来一段段惊险的挂壁公路。这些人工开凿的痕迹，到现在都还能看到，走在路上，抬头往上看是耸入云端的奇岩峭壁，往下看是深狭的湍急溪谷，让人一阵晕眩。
这么一条路，也是用141条人命换来的，他们没死在枪林弹雨的战场上，却死在异乡崇山峻岭的乱飞石块中，再也回不了故乡。现在太鲁阁还有一个长春祠，是专门纪念这些开路先驱的，中横公路太鲁阁段，现在也变成台湾最知名的观光景点之一，到台湾必游。
那时候，蒋经国负责退役官兵就业的工作，所以也是一天到晚往这些条件极差的山区工地跑。现在有许多照片都是他走在山中小路，或者乘着流笼过河的惊险照片。他亲自跑到建设的第一线关心那些荣民，了解他们的需要。
所以到现在，很多当初参与建设的老荣民都很怀念蒋经国，就是因为当初在许多官员里，只有蒋经国真正关心过他们。