同治十年（1871年）12月，中国藩属琉球派人前往广东中山府纳贡，使者携带回赠的礼品返国途中，遭风暴船漂流到台湾。岛上处于原始状态下的牡丹社人劫杀了使者。这本是中国与琉球双方之间的问题，但日本政府却借此“琉球事件”，于同治十一年（1872年）宣布琉球为其藩属。同治十三年（1874年），日本入侵我国台湾，东南海疆出现危机，清廷大为震惊。清政府即命沈葆桢“以巡阅为名，前往台湾生番一带察看，不动声色，相机等办”。当消息证实后，清政府深感事态严重。同治帝遂正式任命沈葆桢为钦差办理台湾等处海防，东渡台湾，处置日本侵台事件。同时命令所有福建镇、道等官，归沈葆桢节制。江苏、广东沿海轮船，归沈葆桢调用。台湾筹防所需款项由福建供给。沈葆桢接旨后，义无反顾地肩负起保卫台湾、维护领土主权的历史使命。
沈葆桢分析了中日双方形势，认为日军有可能扩大侵略范围，高山族山胞是敌不过手持洋枪洋炮、训练有素的日军的。而台湾的首要任务是加紧军事部署。他既反对“一味畏葸，只图置身事外，不恤贻患将来”，也反对“一味高谈，昭义愤快心，不妨孤注一掷，于国家深远计均无当焉”。经过深思熟虑，他向朝廷提出纵横外交和实力备战相结合的对日方针：一是把历年来洋船漂台事件及日本入侵我国台湾的前后经过，分别摘要照会各国公使，戳穿日本谎言，最大限度地在国际上孤立日本，利用国际舆论逼迫日本退兵；二是加强海防力量，日寇利欲熏心，未必因理屈而退兵，日本之所以如此气焰嚣张，是因为中国器械未精，兼恃美国暗中资助，因此必须速购铁甲船、水雷、洋枪、洋炮、火药、子弹等物，改善军队装备；三是抽调得力人才，协助筹办台湾海防。福建兵力不足，请外省增援，水师轮船不够，请将沿海各省的兵轮调到福建沿海；四是台湾海峡之险，甲诸海疆，如遇飓风，难通消息，请架设台南至厦门的跨海电线及厦门至福州的陆路电线，使消息尽快畅通，不至贻误战机。对日四大方针反映了沈葆桢的远见卓识。他对敌我态势分析得极为透彻，并且力主备战，以实力威慑日本不敢轻举妄动。清政府对沈葆桢的建议赞赏有加。
6月14日，沈葆桢赴台湾之前，就部署了福建沿海的防御工作：“福星”号泊台湾；“长胜”、“海东云”号往来于闽台；“扬武”号巡弋澎湖；“靖远”号往返于福州、厦门；“振威”号穿梭于马尾、上海。16日，沈葆桢视察澎湖炮台及设防，痛感驻守班兵太弱，不堪一击，遂萌发整顿守军的想法。17日，沈葆桢抵台湾安平，接见当地官员，进一步了解台湾局势。他见台湾班兵太少，就从大陆抽调当时最精锐的洋枪队，即唐定奎率领武毅铭字军十三营，到台湾布防。8月23日，第一批武毅军2000人到台，驻防凤山（今高雄）。10月下旬，第二批增援2500人到达。沈葆桢见台湾北部后山防御力量单薄，且有日人觊觎，遂派福建陆路提督罗大春率部东渡，驻防苏澳。在台期间，沈葆桢制订了“驱倭抚番”方针，依靠人民加强地方的防卫力量。他派熟悉民情的官员到各地发动群众，组织民勇，成立乡团，发给武器。深入高山族社，发动山胞抗倭。日军入侵后，高山族同胞遭受蹂躏，因此一呼百应。“抚番”成功，为收复失地奠定了良好的群众基础。为加强台湾防御力量，沈葆桢招募广东兵勇2000多人，从天津调运新式洋炮，从福建调拨数万磅火药，在安平、旗后、澎湖等重要海口修筑炮台。经过精密部署，台湾的防御力量大大地增强了，敌我双方实力发生了根本性的变化。
入侵台湾的日军很快陷于台湾人民激烈抵抗的泥淖之中。沈葆桢从大陆调来的精锐部队又将他们团团包围。日军不适应台湾南部盛行的疫气，“死者日四五，病者不计其数”。日本侵略者见沈葆桢布防周密，在军事上难以取胜，且军心波动，不得不与清政府谈判。腐败无能的清政府，对闽台海防缺乏信心，深恐局势发展，会把战火引向大陆各地，谈判中步步退让。在英国调停之下，以中方赔银五十万两，日本撤军为条件，结束了战争。日本人在台湾战场上无法得到的东西，却在谈判桌上轻易得到了。
日本侵台事件引发了朝野上下筹办海防的浪潮。沈葆桢认为要在台湾搞海防建设，首先应该建设台湾。长期以来，清政府奉行“为防台而治台”的政策，对开发孤悬海上的台湾有许多禁令，严禁大陆人民偷渡。与台湾隔海相望的福建，地少人多，漳、泉两地人民仍然有人偷渡入台。清政府禁令限制了中国人，却限制不了外国人。鸦片战争后，外商抵台低价收购蔗糖、茶叶、樟脑，输入鸦片等毒品榨取钱财。为了杜绝外国染指台湾，巩固台防，沈葆桢上疏要求开禁，允许大陆人民自由东渡台湾，进入“番界”，开垦土地。据文献记载，当时应招赴台者络绎不绝，仅光绪元年（1875年），福建、汕头、厦门三处就有2000家乘禁令解除而预备渡海。大批大陆人民来到台湾，对台湾的开发，经济的发展起了很大的推动作用，同时杜绝了外患，巩固了台湾海防。沈葆桢设防与开发两手一起抓。先是于同治十三年（1874年）6月，凿山修路，开发台湾东部。这是台湾开发史上的创举，工程十分艰巨。沈葆桢调兵开凿，沿途设立碉堡，派兵驻防。一年后完工，共耗银20万两，死亡官兵达2000余人。沈葆桢开山修路，不忘“抚番”。他制定了许多办法，有效地管理着少数民族。如政府提供费用，在高山族地区办义塾，高山族人从此由野蛮走向文明时代。此外，他努力改善高山族人的生活条件，使他们安居乐业。开发台湾，促进了汉族与高山族经济、文化的交往，并为筹办海防打下了坚实的基础。
台湾当时隶属福建省，属福建巡抚管辖。由于交通不便，台湾镇、道大权在握，与巡抚只有公文上的来往。沈葆桢痛感台湾吏治昏暗，认为要加强海防，整顿吏治是当务之急。“台湾海外孤悬，七省以为门户，其关系非轻，欲固地险，在得民心；欲得民心，在修吏治、营政；整顿吏治、营政之权，操于督、抚”。因此，他建议福建巡抚移驻台湾，总揽台湾军、民两政，兼理学政。为了适应开发台湾的新形势，沈葆桢调整了台湾的行政区划，将台湾一府三县改为二府八县，以有效控制台湾南北。清政府同意他的建议，令福建巡抚每年冬春二季驻守台湾，统筹全台、筹办海防。与大陆远隔重洋、鞭长莫及的困境得到克服，台湾的管理得到加强。
为了巩固台湾海防，沈葆桢改革班兵营制，加强训练，提高军队的战斗力。加强海军及其装备，在澎湖训练水军，在台南选练洋枪队。聘请外国工程师在安平南面设计修筑“亿载金城炮台”，在屏东东港建造“东港炮台”，在高雄的鼓山和旗山建造“打狗炮台”，并把台南政府所在半月城加以重修，使之坚固。还修建台北府城等处，加强台湾的防卫力量。这些防务设施，以安平炮台为最大，沈葆桢为其取名“亿载金城”，并书写镌刻在城门上。1895年中日战争时，这座规模宏大的炮台发挥了很大作用，至今它还傲然屹立在台湾西海岸上。
筹办海防面临的首要问题是经费，不论是购枪炮、舰船，还是修炮台、养兵军饷都离不开经费，没有经济作后盾，海防建设就是一句空话。因此筹办海防，与兴利、求富是一致的。沈葆桢认为要加强台湾的海防力量，应从开发台湾、建设台湾入手。只有台湾经济繁荣、地利尽开、饷源充足，台湾的海防才能真正巩固。台湾煤源丰富，沈葆桢首创官营开采，开办基隆煤矿，既为福建船政解决用煤问题，也为台湾增加了收入，同时还可以进入上海、香港市场与洋货竞争。后基隆煤矿“每年出煤一百四五十万石，可得二十余万元”。
沈葆桢于光绪元年（1875年）8月调任，丁日昌以福建船政大臣兼福建巡抚，兼管台湾事务，继续沈葆桢的改革。沈葆桢任两江总督后，还不时关心着台湾的开发和建设。光绪三年（1877年），丁日昌奏请在台湾兴修铁路，开办矿务等事，沈葆桢给予全力支持。自沈葆桢始，后经丁日昌、刘铭传等人的努力，台湾社会经济迅速发展起来。沈葆桢为筹办台湾海防，先后渡台两次，是在台湾兴办洋务的第一人，也是大规模开发和建设台湾东部的第一人。
沈葆桢是个爱国、清廉的洋务派官员，也是为国为民尽力寻求自强之路的有识之士。他民族自尊心极强，坚决抵抗外国侵略者，直至临死前，他极力主张的建立以铁甲舰为核心的外海水师仍未能筹办，他在遗疏中还指出“事关呼吸，迟则噬脐”。他为中国近代海防建设作出的不懈努力，应该得到充分肯定。