此後，張大千拒絕了擔任日華藝術畫院院長及日偽北平藝術專科學校校長的職位，表現出坦蕩的民族氣節。楊婉君陪伴張大千度過了抗日戰爭艱難動蕩的歲月。特別是1941年，張大千在敦煌那極其艱苦日子裏，楊婉君也是細心照料，陪伴在側，確實不易。長期的辛勞，使楊婉君患上了乳腺癌。張大千從敦煌回到成都。一天，張大千的女兒張心瑞帶來一位名叫徐鴻賓的同學，說是要來學畫。徐鴻賓楚楚動人，亭亭玉立，張大千為之眼睛一亮，予以熱情接待。從此這位成都姑娘常到張家學畫。在密切的交往中，張大千與徐鴻賓發生了戀情。
張大千大徐鴻賓整整30歲。消息傳到張大千二夫人黃凝素的耳朵裏。黃凝素一反過去支持張大千迎娶楊婉君的態度，堅決反對迎娶徐鴻賓。黃凝素因此提出與張大千離婚。黃凝素還動員楊婉君與張大千離婚，遭到楊婉君的拒絕。
抗戰勝利之後，張大千與黃凝素離婚，並送楊婉君回北平娘家養病。1947年張大千與徐鴻賓在上海結婚。徐鴻賓這名字頗為男性化，張大千為之改名徐雯波——她也就是張大千的四夫人。
徐雯波成了張大千後半生的支柱。她陪伴張大千從大陸到台灣，再從台灣到香港、印度大吉嶺、巴西“八德園”、美國“環蓽庵”，直到最後定居台灣“摩耶精舍”。
人們這樣評價張大千的四位夫人：元配夫人曾正蓉為他在老家操持家務，孝順父母；二夫人黃凝素生了11個子女；三夫人楊婉君陪伴他度過抗戰時期的艱苦歲月；四夫人徐雯波陪伴他度過漂泊的後半生。
安葬於“摩耶精舍”後院
“摩耶精舍”畫室裏的掛鍾時針永遠停在8：15。王小姐告訴我，這象征張大千在1983年4月2日8：15因心髒病去世，終年84歲。
在國共大決戰的時刻——1948年12月，張大千畫展在香港舉行，張大千攜新夫人徐雯波飛抵香港，住了下來。
1949年2月23日，正在香港九龍亞皆老街臨時寓所裏的張大千，接待了一位不平常的訪客，那就是國民黨左派元老廖仲愷夫人何香凝。何香凝本人也擅長書畫，所以與張大千過去有所交往。何香凝告知，她即將赴北平出席新政治協商會議，將拜見毛澤東，想帶一件見麵禮。她思忖再三，以帶一幅張大千的畫最合適。張大千欣然允諾。
三天之後，張大千交給何香凝一幅《荷花圖》，上題“潤之先生雅正”。毛澤東見到這幅畫，非常喜歡，掛在自己的辦公室裏。
從這一曆史細節可以看出，張大千對於中共、對於毛澤東，是持相當友好的態度。然而張大千在1949年選擇離開大陸，其原因在於他是一個自由散漫慣了的人，愛錢而又愛花錢，他的擁有四位夫人的家庭也顯然與共產黨體製格格不入，他更不願接受“思想改造”。何況他在國民黨高層有諸多好友，如於右任、張群，所以他的“思想天平”傾向於國民黨那一邊是很自然的。正因為這樣，在1949年這曆史大轉折的時刻，張大千選擇了離開大陸，雖說其原因並不是“反共”。
也正巧，1949年10月中旬，張大千應邀到台北舉行畫展。這是張大千第一次來到台灣。向來喜歡遊覽名山大川的張大千，除了走訪台北，還去了台灣各地。當時，中國人民解放軍已經橫渡長江，蔣介石兵敗如山倒，龜縮於中國西南。大批國民黨高官帶著太太、子女和黃金逃往台灣。隻有像張大千這樣的“閑人”，還有“閑情”在台灣遊山玩水。當張大千回到台北，見到那個已經從大陸來到台灣、同樣留著長胡子的國民黨中央“監察院長”於右任。於右任雖是國民黨高官，卻酷愛書法，所以跟張大千有著深誼——1937年8月張大千在北平就是因為也留著長須，被日本憲兵司令部誤為於右任而扣押起來。此時於右任告訴張大千，就連大西南也保不住，成都岌岌可危，即將落入共軍之手。