丁日昌性情本急，加上长期操劳过度，他的身体早就极度虚弱，患有咳血等症，在台湾又因瘴气浸染，旧病复发。1877年8月，他因病离职回籍休养。此后，清廷一再表示希望他再度出任海疆和枢廷要职。1879年下谕赏给他总督衔，令他专驻南洋，节制南洋沿海水师官兵，悉心办理海防事宜。不久，又命他兼任总理各国事务衙门大臣。但他都因病未能出山。
丁日昌虽然身在林泉，但他对国家的防务仍时时予以关注。1879年6月，他上奏清廷，对海防等问题提出16条建议。由于琉球的废灭，他对日本的侵略野心益加警惕，指出日本“三五年不南攻台湾，必将北图高丽（朝鲜）”。他大声疾呼朝野内外一定要齐心协力，急谋自强，否则将国无宁日。他还认识到“民心为海防根本”，只有老百姓的生计有了着落，元气得到恢复，才能众志成城，海疆安如磐石。因此，他希望统治者们能够切实关心百姓的痛苦，从根本上使中国强大起来。
1881年，丁日昌获悉法人对越南之经营日趋积极，他便给总理衙门的管事大臣写信，提醒他们予以关注。他说，越南为法人蚕食，委靡不振，若听其自然，必成为第二个琉球。他建议清廷密派广西巡抚或提督与越南密商自强办法。他自己还曾组织人员翻译法人所绘著的《中越边境地图》和说明，以揭露法国的侵略行径。
1882年2月27日，丁日昌病死在广东揭阳。临终前，他回顾自己这么多年的努力，却并没有使中国在军事上强大起来，外患愈来愈严重，不禁悲怆之至。他口授遗折，长叹自己“死有余憾”。
丁日昌生活在一个动乱与变革的时代。纵观他的一生，他所考虑的主要问题就是如何强兵御侮。他为此做出了不懈的努力，真可谓是孜孜不倦、呕心沥血、死而后已。应该说在那个时代，他的许多见解是精辟的，他的许多主张是具有开拓性的，他的不少努力也取得了一定的成果。他对中国海防近代化所作出的贡献是不可磨灭的。