張懷忠一氣之下，在床上躺了兩天，整天發呆，一言不發。
張大千就勸他：“阿爸，你不要傷心了，俗話說破財免災。這幾天我忙著給人畫畫，錢也就掙回來了。要不這樣吧，我早就說過，咱們把店子關了吧，四哥來信，他在安徽郎溪置了一些田產，在山上栽了許多樹。他還說，那邊比四川要安定些，您忙了大半輩子，不如出去享幾天清福。而且老九還賴在鬆江不肯回來，你順便出去把他揪回來。”
父母點了點頭，同意了。就這樣，張大千帶著父母、妻子踏上了南下的旅途。一家人在鬆江終於又團聚了。
有一天閑來無事，張大千與二哥張善孖為父母畫了一張肖像，善孖畫老人像，大千畫背景。老人濃眉豐髯，身穿長衫，坐在荷花池邊。這是兄弟兩人第一次聯手作畫，當畫完細心品味，盡管筆墨嫻熟，線條流暢，但都覺得缺少點什麼，兩人百思不得其解。
後來有一天張大千讀到南朝謝赫的《六法論》時，看到“氣韻生動”一節，古人今人都在繪畫過程中追求形象的內在氣質與畫麵整體的章法布局。他意識到：我與二哥所作的那幅肖像，一是神韻不夠，尤其缺乏一個藝術家的個性；二是整體的布局不好，我那一池荷花，滿滿而溢，構圖缺乏疏密與虛實的結合，顯得呆板。
於是，張大千體會到了“藝無止境”的含義，他決定再回上海。
這次九弟也鬧著要跟他到上海去：“哥哥們都在外麵見過大世麵，為什麼非要把我困在家裏？”父母隻好答應了。
來到上海，張大千兄弟二人住在馬當路西城裏16號，一座灰色的二層小洋樓。說來也巧，黃賓虹先生也住在這裏，就住在他們樓上。
自從發生上次的“仿石濤風波”之後，黃賓虹就很看重張大千的才華了，而張大千始終如一地對這位書畫界的前輩充滿敬仰之情。兩個人不久就成了忘年好友。
九弟一到上海，就說什麼也不回鬆江了，執意要與八哥一道跟曾熙學書畫。張大千拗不過他，隻好答應了。
張君綬雖然任性，但卻很有天分，書畫方麵進步極快。張大千相信，隻要他好好用功，將來成就肯定在自己之上。
但是，剛到上海幾個月，母親就來信，催他們一道回內江，讓張君綬與蔣姑娘成親。
張君綬的熱情一下受到了打擊，學習勁頭也一落千丈。有一天曾先生問張大千：“你九弟的才氣高過你，將來肯定會有出息。但他這幾天就好像丟了魂一樣，這是怎麼回事？”
有道是“家醜不可外揚”，張大千含糊其辭，遮掩了過去。
有一天，母親又來信了，張君綬看了馬上臉色就沉了下去，也不與八哥說話，也不給他看信上說了什麼，吃晚飯的時候就找不到他了。當時張大千以為他出去散心了，也沒在意，就上床睡了。
第二天一早醒來，九弟還沒回來，這時張大千才意識到可能出事了，急忙到幾個朋友家裏去找，但一天都沒有找到。
晚上張大千疲憊地回到家裏，思索不出這個任性的弟弟到底搞什麼名堂。苦悶之際，他到九弟的房間裏一搜，果然在枕頭下麵發現了一封信：
八哥：
我去了，不用找我，你們也找不到，就當我死了罷。請轉告父母大人，孩子不孝，對不起兩位老人家，就當沒生我一般。八哥，我的心，你是知道的。
張大千讀完信，腦袋“嗡”的一聲：“完了！”不由眼前發黑，一下癱在床上，淚流滿麵地喊道：“九弟呀，你這一去，在外麵如何生活？叫我如何向父母交代？”
張大千尋找了很長時間，可人海茫茫，哪有君綬的影子。有人說他上了德國的船，也有人說他去了北平，也有人說他去日本了。
但是，這一切都要瞞過年邁的父母，他隻好模仿老九的筆跡，學著九弟的語氣，以九弟的名義給父母寫信，一會兒說到青島去了，一會兒說在大連，後來幹脆就說到德國留學去了。
一年後，父親張懷忠去世，母親也在1936年逝世，但兩位老人直到去世都不知道君綬失蹤的消息。母親直到去世前，還常對張大千哀歎：“唉，老九不聽話，害了蔣姑娘一輩子。”
張大千每次聽到，心如刀絞：“是啊，蔣姑娘把自己的希望和終身都寄托在九弟的身上。但是，我可萬萬不能做害別人一生的事！”
因此，日後他雖然與曾氏夫人沒有太深的感情，但始終以禮相待。
張君綬從此以後杳無音信，成為張大千一生的憾事。