這時，日本正謀奪清朝藩屬琉球，黃遵憲代何如璋致書總理各國事務衙門及北洋夫臣，前後數十次，痛陳利害，主張強硬對日，力爭主權。他告知國內決策者，以日本此時國勢，倘若我國堅持不讓，彼必屈服。另外，日本正要求與中國協商改訂利益均沾條約，中國應聯絡美英諸國，撤回使節，停罷會議，以製約日本的野心。他一再指出，在這個縱橫捭闔的國際格局中，外交必先審時度勢而後才能評理，必當敢於言兵而後可以用兵，要判明利害，以實力作後盾。但清政府沒有接受這一建議，琉球終被日本吞並。
兩年後，日本又凱覦中國藩屬朝鮮，當時，日俄兩國都欲攫朝鮮為己有，英法美德諸國，也紛紛試圖與朝鮮訂約通商。黃逯憲早已料知必有今日，屢次與何如璋商談，中國應該趁這幫國際強盜蓄謀未定，先發製人。並屢次上書總理衙門，陳述建議，可惜都未被接受。十多年後，中日之間以朝鮮問題為導火線，終於兵戎相見。甲午一戰，中國大敗，朝鮮被日控製，唇亡齒寒，中國東北岌岌可危，黃遵憲的早先預言終於成了令人悲憤的事實。
在日本期間，他與日本知識分子交遊甚眾，通過習讀日文書，開始有誌撰寫《日本國誌》。作為準備，他先編了《日本雜事詩》百餘首，采摘舊聞，考察新政，衍為小注，上總理衙門。他的詩文字淺顯，朗朗上口，流暢通俗，對近代詩歌界影響很大6著手撰寫《日本國誌》後不久，1882年春，他奉命調任美國舊金山總領事，這項工作遂不得不暫告中'輟。
就在這年3月，美國國會決議通過限製中國移民法案，此前中國人赴美，以傭工居多，這個法案專為華工而設。在訂此法之前，美方曾派員來華，企圖改訂1868年的華工續約，黃遵憲力主回絕，但是清廷不聽，終與美在1880年簽訂北京條約，自願限製華工赴美。美方通過法案後，國內掀起排華浪潮，中國人入美時，無不受非人道的無理虐待，甚至不受新法案限製的學生、商人、遊客，也備受苛刻刁雉。在美國反華浪潮中，又以舊金山地方最為嚴重，這給中國人赴美和在美華僑的生活帶來許多痛苦與不便。
黃遵憲至任，見到美方如此殘酷非人道地歧視華人，多次與美方交涉，要求取消限製中國移民法案，均無結果。不得已，他遍告當地華人，凡來往美國，可往總領事館領取護照，取得外交上的保護，從而使華僑的境遇有所改善。1884年，美國大選，民主、共和兩黨相爭，黃遵憲見官吏貪詐，政治穢濁，工黨橫行，至總統選舉，大則釀成動亂，小至行剌暗殺，種種醜惡現象，難以人目。加上他因移民事對美本無好感，所以對民主製度在中國的可行性產生懷疑，而更傾向於日本的君主立憲製。
存秉期間，事務劇煩，幾無閑暇，無法續寫《日本國誌》。為此，他屢次請求卸任回國。1885年，他離美返國，回到家鄉，即閉門謝客，專心寫作《日本國誌》，至1887年完成初稿。共四十卷，除卷首年表外，分國統、鄰交、天文、地理、職官、食貨、兵誌、刑法、學術、禮俗、物產、工藝12類，50多萬字。采用典誌體，略加改進，通述日本自古以來3千多年的曆史，介紹日本政治、經濟製度沿革，詳述學術思想文化，以及兩千年來日中交流情況，對近代日本的明治維新記述尤詳，占了全書大部，故黃遵憲自稱它是“明治維新史”。
他從日本變法以來，革故鼎新，舊日政令，百不存一的實際出發，根據詳今略古、詳近略遠、凡涉西法尤加詳備的原則，探究了明治維新發生的原因，詳細敘述了日本明治時代的政治經濟製度，以為中國變法自強的借鑒。歐美人侵，使日本瀕臨被瓜分亡國的境地，為走出困境，遂有維新。明治政府取法歐美，頒布新法製，建立一套比較近代的政治經濟製度，同時大力扶植私人資本，發展本國民族經濟，初步創立較為完整的國民經濟體係。為了推進變法維新、革除數千年的保守積習，大力開展“文明開化”運動，改革學製，普及中小學教育，向歐美各國派遣大批留學生，學習西洋文明的精華。因為他對美國民主印象很差，故對日本的君主立憲倍加致意，詳細分析明治政府成立後，設立議政官、行政官、刑法官等各類機構，分別擔任立法、行政、司法之職，指出這種君民共主的政體’中國應該效法實行。
近代中日麵臨著相似的世界大局，日本通過明治維新得以強盛，而中國的自強新政卻成效不大，為此，黃遵憲對中日學習歐美作了多方麵的比較，試圖尋求中國應走之路。日本扶植民間資本，見效甚速，中國始終是官僚資本占主體，不講效果，故發展緩慢；日本從改革學製、培養人才人手，中國也當從此入手；日本開關通海，廣與外國交往，革除舊習，取法歐美，中國也當注意外交，引進西方先進文明；日本行君主立憲政體，中國也當如此，走“君民共治”的資本主義道路。由於他對日本取法歐美、富國興邦不遺餘力的介紹宣揚，因而《日本國誌》刊行之後，影響很大，康有為、梁啟超的一些變法主張也受此書啟發不少。
完成《日本國誌》後，黃遵憲攜書北上人京，1889年被薦，受命隨薛福成出使英國。至歐，見其政治學術，竟與日本無異，十分感歎日本維新功效之大，又見英國的君主立憲製行井然有序，’更主張中國應當取君主立憲製。1891年，他奉命調任新加坡總領事，3年後離任回國，這時他已經是一個通曉外交事務的老練幹才了。不久，他充任南京洋務總辦，受命與法國駐上海總領事會商，解決江南五省教案。到任，他嚴守約章，應給則給，應斥即斥，既無賠償謝罪，也未牽涉紳民，幾個月時間內，將幾十年積累下來的糾紛，一律結清。因處事開明，辦事幹練，頗得時論稱頌。
1897年，黃遵憲出任湖南長寶鹽法道，兼署湖南按察使，此時正值維新變法之際，他積極參與，協助湖南巡撫陳寶箴，與梁啟超、譚嗣同等一起，在湖南推行新政，一時間，湖南維新有聲有色。後黃遵憲因病乞歸。百日維新失敗後，黃遵憲受到彈劾，險些下獄，幸得中外人士多方活動，得旨放歸。變法的失敗，使黃遵憲感到前途無望，但強烈的愛國主義激情，又促使他走出頹境，他在一首詩中寫道：仰天擊缶唱烏烏，拍遍闌幹碎唾壺。病久忍摩新髀肉，劫餘驚撫好頭顱。篋藏名士株新籍，壁掛群雄豆剖圖。敢撫鳩媒從鳳駕，自排闓闔拔雲呼。戊戌以後，八國聯軍攻人北京，中國麵臨瓜分豆剖之境地，接著革命風潮漸起於海內外，在此情形下，黃遵憲雖閑居鄉間，卻極為關注時，他以日本維新誌士為榜樣，激勵自己，希望盡己所能，為未來的中國改革事業服務。
晚年的黃遵憲與流亡日本的梁啟超恢複聯絡，他以東海公等筆名與梁啟超書信往複，論政論學。此時，他的思想又有很大變化。曆史發展到20世紀，封建帝製巳喪失存在條件，世界都將實行民主共和，走向大同世界，“滔滔海水日趨東，萬法從新要大同”，在時代風雷的激蕩下，其思想終於走出了君主立憲的藩籬，彙人民豐共和的滔滔大潮中，在晚年的史詩中放出一段異彩。1905年，這位倡導維新的霸才、外交奇士和近代詩壇的改革家，滿懷對國事的憂憤和對未來民主共和的熱望，離開了人世。確如他的期望，沒過幾年，辛亥革命的狂飆在祖國大地上呼晡奔騰，帝製崩潰，民主共和跨入中國政壇，並成為時代發展不可逆轉的潮流。