出世遺民的心態總是不無自覺地表現在黃賓虹的審美旨趣中。可以說，黃賓虹的一生，在精神上都是與這些遺民麵對而坐的。漸江、程穆倩、鄭遺蘇都是安徽歙縣人，漸江，也就是弘仁，曾數度參與抗清複明的鬥爭，弘仁與石濤、梅清同為“黃山三巨子”，時人謂：“石濤得黃山之靈，梅清得黃山之形，弘仁得黃山之質。”程穆倩在詩、書、畫、印方麵修養極高。他因議論“馬士英眼多白，必亂天下”而遭到迫害，險些喪命，後來隻得隱身匿跡。鄭旼，號遺蘇，擅長山水畫，以幹筆見勝，側鋒取勢，意境幽僻澹逸，自具風貌。上一個朝代的遺民總是下一個朝代的麻煩事，改朝換代是曆史大事，大事歸國家，小事芝麻粒歸自己，弄不好芝麻粒就成老鼠屎了。從伯夷、叔齊恥食周黍開始，每逢改朝換代都有遺民問題。筆墨峭勁雄峻，以創“大斧劈”皴聞世的宋代畫家李唐，就畫有《采薇圖》，表現了被後世視為楷模的伯夷、叔齊的那段曆史。唐、宋、元、明、清改朝換代莫不如此。宋代畫家鄭思肖所畫蘭花多為疏花簡葉，且不畫根土。人詢之，則曰：“地為番人奪去，汝不知耶？”與被謂之“明三百年無此筆墨”的陳洪綬齊名，號“南陳北崔”的崔子忠，明朝覆滅，他“走入土室中匿不出，遂餓而死”。
但可要知道，清朝順治時期的大書法家、禮部尚書王鐸，卻是被列入《貳臣傳》者。乾隆皇帝把降清的明朝官員稱為“貳臣”，說這些人“遭際時艱，不能為其主臨危授命……大節有虧”。乾隆實在有點不厚道，祖宗基業不過百年，就將這些當年多多少少對於鞏固清朝政權有功的降臣如此羞辱。王鐸地下有知，臉上會不會蒙一張黃表紙？不過，這張黃表紙如若寫有王鐸的書法，現今熱熱鬧鬧的拍賣會一槌下去，怎麼也得百十萬元吧？“遺民”是一筆一筆的痛，不似現在有錢人投資“移民”，飛機轟鳴著穿過雲朵就興高采烈地遠走高飛了。