1896年和1897年劉永福和殘存的黑旗軍將士，在三宣堂和扳桂街閑賦了兩年。兩年間，劉永福一麵與將士們在扳桂街置業發家，共享天倫；一麵冷靜地回顧黑旗軍的成敗得失，通過重新反省兩次抵禦外敵，特別是在台灣抗日的經過，劉永福認識到，與國外日新月異的軍事發展相比，黑旗軍無論是從兵將素質和武器裝備來說，都已是大大落後了，而黑旗軍將士普遍文化程度低下，以致成為改造和提高黑旗軍素質的嚴重障礙。為此，劉永福曾考慮采取自籌資金保送人才出國留學的形式，以圖吸收國外的先進軍事成果，為將來重建黑旗軍作準備。
據與劉永福有關係的鐵禪上人回憶此事稱：“將軍以黑旗軍中人大都起自隴畝，後此宜注意世界學識。光緒丁酉年（1897年），曾擬助餘國外留學，意為黑旗軍十年教訓計也。餘以久病體弱，辭不果行”（《劉永福傳》）。如果這段記載沒有i化誤的話，說明劉永福的思想狀態已有很大的發展，不但走出固步自封自我封閉的狀況，而且能夠主動地學習和吸收外國的先進軍事技術，逐漸追上了時代發展的步伐。
1896年，沙俄首先誘騙清政府簽訂了《中俄密約》，奪得了在中國東北修築鐵路的特權，並通過與清政府訂立築路合同，將東北鐵路沿線變成了它的勢力範圍。
1897年11月，德國借口山東巨野發生德籍傳教士被殺案，悍然派出軍艦強占了膠州灣，在造成既成事實後，再強迫清政府將膠州灣租借給德國九十九年，並劃山東半島為它的勢力範圍。
麵對列強咄咄迫人的侵略勢頭，清朝統治者慌忙研究對策，以圖抵禦。清政府決定重新召用劉永福。1898年1月5日《申報》報道：“德人占據膠州，粵防不能少解，傳聞大憲邀請前南澳鎮總兵劉淵亭鎮軍總理防務，而以鄭潤才鎮戎副之，日前已派圖南輪船開往欽州迎迓矣。”
聞說劉永福被召複出，居住扳桂街的黑旗軍舊部紛紛要追隨前往。
兩廣總督譚鍾麟命劉永福招募新兵一千人，組成黑旗軍福字營。劉永福告以舊部現除居扳桂街之外散處廣西尚多，而且這些弟兄在越南久經戰陣，大可招用。劉永福從欽州親赴南寧招募，以藍翎千部李德新及公子花領後補知縣劉成章為管帶，並先飭成章回欽州招幾百人，使帶往南寧等候整編。劉永福到南寧後，立即招募左右兩江各府州縣退任舊部遠近紛來應募者多至萬人，劉永福僅挑選一千五百人成為三營。
三宣堂重整旗鼓，黑旗軍又別扳桂街。
東進北上抗擊列強，時隔三年，劉永福和他的黑旗軍萬萬沒有想到，清政府居然接受列強提出的和議大綱。劉永福憤然“請假旋裏”又返扳桂街，回歸“三宣堂”。隨後又“自請裁撤黑旗軍”，“開去兵總”職務。
這真是吃力不討好！
隨後，中國政局變幻百出：袁世凱竊國，孫中山發動二次革命，北京又上演帝製複辟醜劇，等等，不一而足。但劉永福仍恪守自己的宗旨，對於國家內亂無意過問，但對外國侵略，卻依然敏感。
一直對我國領土抱有野心的沙俄，利用辛亥革命爆發、各省紛紛獨立、清政府倒台之機，唆使外蒙古的封建領主脫離中國宣告獨立。1912年到1913年間，俄國政府同外蒙古擅自訂立了一係列的條約，實際上使外蒙古完全落人俄國的控製下。
劉永福對於這種公開分裂中國的行動，更是滿腔義憤，他致電當時的北洋政府總統袁世凱，請緩出兵抗俄：
北京袁大總統鑒：永福於粵東反正時，忝膺民團總長，聊盡義務，嗣以秩序稍複，辭隱田園。現聞暴俄煽惑外蒙，恣其蠶食狡謀，若非武器解決，何以立國。如果有事疆場，福雖暮年，猶堪統率健兒，誓掃蠻氛，以達禦外素誌。臨電迫切待命。欽州劉永福叩。
此事根本沒有結果。
時光悠忽，轉眼之間，劉永福退隱家居已六年。雖然他仍然“體質素健，年屆八旬，步履如常，雖遊山亦不須杖，生平不禦藥石”，但是，他明白生老病死人所不免，因而對於後事已有安排。一天，他召來兒孫，訓以平生心得：“人生在世，如遇極不難之事，何妨以難視之；即遇極難之事，當以不難視之。汝曹宜謹記勿忘。”
1917年1月7日，劉永福突然感到身體不適，他知道大限已到，於1月9日向兒孫口授臨終遺言：
予起跡田間，出治軍旅，一生惟以忠君愛國為本。無論事越事清，皆本此赤心，以圖報稱。故臨陣不畏死，居官不要錢，雖幸戰績頗著，上邀國恩，中越均授以提督之職，居武臣極地，亦可謂榮矣。然予心惕惕，終不以官爵為榮，隻知捍衛社稷，不使外洋入侵餘國為責任。此身雖老，熱血常存。現今國事日危，外強虎視。若中政府不早定大計，任賢選將，以救危亡，因循坐誤，內亂交作，蠻夷野性，必乘機入寇，割據瓜分，亡國奴隸，知所不免。