1877年，黄遵宪的同乡何如璋奉命出使日本，邀请黄遵宪以参赞之职一同前往，许多官员把出使国外看成是一件苦差使，但黄遵宪欣然接受邀请。正是这次日本之行，使当年考举人三次落第的黄遵宪写出了一部对中国近代产生了重大影响的著作《日本国志》。那么，他为什么要写这样一部书呢？
黄遵宪到达日本时，正值日本明治维新后的第九个年头，原来和中国一样面临西方列强侵略的日本，这时已迅速崛起，这极大地刺激了黄遵宪，使他对明治维新产生了浓厚的兴趣，通过长达两年多的调查研究，他于1879年开始了《日本国志》的写作。
《日本国志》全书40卷，分为天文、地理、军事、刑法、物产、礼俗等12种志，他在写作中引用了日本政府大量的公报、法令和统计数字，用清晰的表格和精确的数字说明问题，比如在“地理篇”中就有府县沿革、经纬度、寒暑等18个统计表。1882年，黄遵宪奉命出使美国之前，把刚写成的《日本国志》呈送给了清廷的总理衙门。在离开日本之际，黄遵宪做诗告别日本友人：“海外偏留文字缘，新诗脱口每争传。”
1895年，黄遵宪的《日本国志》出版，这部曾经被当局束之高阁的著作终于因1894年的甲午战争的惨败而引起了朝野的关注，光绪皇帝曾经命人找来《日本国志》，仔细阅览。
1896年9月，急于变法维新的光绪皇帝在北京召见了黄遵宪。光绪问：“泰西之政何以胜中国？”
黄遵宪回答：“泰西之强，悉须由变法。臣在伦敦，闻父老言，百年以前，尚不如中华。”
据说光绪当时的反应是：初甚惊讶，旋笑颔之。这次召见后，光绪决定要重用黄遵宪，而这时朝廷里光绪皇帝与慈禧太后的斗争日趋剧烈，光绪等不及了，他连下三道诏书催黄遵宪迅速来京。然而，此时的黄遵宪由于在进京的路上染上了痢疾，最终没能成行。
黄遵宪是晚清爱国诗人，被誉为“诗界革命巨子”，是杰出的外交家、政治家、教育家，1848年生于广东，卒于1905年。他的一生可分为四个阶段：即读书应试阶段；出使阶段；参加变法阶段；乡居阶段。黄遵宪的《日本国志》以大量篇幅介绍日本明治维新的情况，并批判秦汉以后的专制主义，肯定西方的立法制度，提出一系列学习西方的主张。戊戌政变失败后，黄遵宪被清政府列为“从严惩办”的维新乱党，但由于外国驻华公使干预，清政府允许黄遵宪辞职还乡。