順治十四年，顧炎武變賣家產，隻身北上，開始了終其後半生的漫遊生活。在25年間，他遍曆大河上下，所到之處，即考察山川形勢、風土人情，同時廣交師友，砥礪學問。後人記載顧炎武在旅途當中往往用騾馬載書隨行，每到一處，都會訪問當地故老，將所見所聞與書中的記載相參照，一旦發現不同之處就記錄下來，詳加考辨。他一生學問的結晶《日知錄》就是在這一過程中完成的。
在後半生的羈旅生涯中，顧炎武堅守他的遺民身份，終生不渝。康熙十七年，當時朝議以撰修《明史》，特開博學鴻詞科，征舉海內名士。顧炎武的同鄉葉方靄等人聯合舉薦他，遭顧炎武回信嚴詞拒絕。第二年清廷還不死心，讓主持編寫《明史》的大學士熊賜履派了兩個差人來到華陰，請顧炎武到北京做他的助手，顧炎武以死自誓，絕不仕清。顧炎武不與清政權合作的立場是非常明確的。他不與清朝的名公巨卿有所交往，即使與自己的親外甥、當時擔任清廷高官的徐乾學兄弟，也很少走動。有一次，徐乾學堅邀舅舅到家中做客，他無奈去了，但拒絕飲宴，以表示不食清祿之義。後來徐乾學兄弟在江南替他買田置地，多次請他回故鄉養老，顧炎武始終不肯南歸。1680年，顧炎武原配王碩人於昆山病故，顧炎武吩咐仆人買來香燭等祭品，布置好妻子的靈位，他恭恭敬敬地拜了幾拜，痛哭失聲。“貞姑馬鬣在江村，送汝黃泉六歲孫。地下相逢告父姥，遺民猶有一人存。”這是顧炎武悼念妻子的詩。大意是：妻子逝世在遙遠的江南小鎮，送妻子入土為安的僅有6歲的長孫。在地下你見到年邁的父母，請稟告二老吧：明朝的遺民還有我這個人。
“天下興亡，匹夫有責”，顧炎武作為一個江南文人竟然留寓北方達20多年，遊曆北方大地，無非是為了乘機而起推翻清朝統治，其民族氣節一直以來激勵很多誌士仁人。他的政治思想，特別是他的民族性，對於後來的晚清的資產階級革命有引導性作用，資產階級革命家章炳麟在反對清朝政府的時候，自署名章絳，同顧炎武初名，可見顧炎武思想的影響力之深遠。
康熙二十一年正月初四，顧炎武在山西曲沃韓姓友人家，上馬時不幸失足，初九醜刻與世長辭，享年70歲。
黃汝成《日知錄集釋》是現在較為通行的《日知錄》版本。黃汝成先生以遂初堂本為底本，參以閻若璩、沈彤、錢大昕、楊寧四家校本，吸收前人對《日知錄》的研究成果，成《日知錄集釋》刊行於世，可以說是《日知錄》最好的版本，流傳很廣。
明朝末年，各種社會問題日趨嚴重，政治、經濟、軍事諸方麵都爆發了危機。顧炎武感於國家多難，針對上述社會問題，努力從書籍中搜集有關兵防、賦役、水利、農業、礦產、交通等方麵的資料，借以尋找明末社會積弊的根源，以及革除這些積弊的途徑。明亡之後他流寓北方，又在各地親自探訪，加以考證。後來，顧炎武把多年收集的資料一分為二，有關地理的部分叫做《肇域誌》，有關經濟的部分叫做《天下郡國利病書》。這兩部書取材豐富，引證宏博，是中國曆史地理古籍中的珍品。兩部書中的資料往往能夠互相補充，可以彼此參證，對照閱讀。
顧炎武不僅是著名的學者和思想家，他的詩歌也在清初獨樹一幟。王冀民先生整理校點的《顧亭林詩箋釋》，對顧炎武詩歌進行了詳盡的注釋、題解；並針對全題或全首的寓意、特點進行評析，對詩中涉及的人事進行考論和索引。從這些詩歌中，讀者可以透過曆史的重霧，體會這位大思想家、抗清誌士的心路。