1951年9月，張大千帶全家趕往南美洲。
促使張大千下定決心離開印度的，還有一個突發的事件。1950年秋冬之際，大吉嶺一帶發生了一次地震，地動山搖，一塊重達兩噸的巨石從山上滾落下來，差一點就砸到了他居住的那所房子。這使張大千意識到，大吉嶺乃危險之地，不可久留。
而他選擇南美，有幾個理由，張大千對此解釋道：
遠去異國，一來可以避免不必要的應酬煩囂，能於寂寞之穎，經營深思，多作幾幅可以傳世的畫；再者，我可以將中國畫介紹到西方。
中國畫的深奧，西方人極不易了解，而近年來偶有中國畫的展覽，多嫌浮淺，並不能給外國人留下深刻的印象，更談不上震驚西方人的觀感！
中國的曆史名跡，書畫墨寶，近幾十年來流傳海外者甚多，我若能因便訪求，雖不一定能合浦珠還，至少我也可以看看，以收觀摩之效。且南美地廣人稀，一切尚在待開發階段，受到現代文明的汙染最少。
張大千在赴南美之前，做出了一件令許多人大惑不解的事。他將自己視為大風堂藏畫鎮室之寶的《韓熙載夜宴圖》《瀟湘圖》《武夷山放棹圖》三幅古跡出售。而其中《韓熙載夜宴圖》這幅價值連城的珍品僅賣20000美元。
了解他的人不解甚至震驚，張大千無論在多麼困難的時候，也沒有賣掉自己心愛的藏畫，這次出於何意呢？
張大千離開香港之後，國家社會文化事業管理局局長鄭振鐸專程從北京來到香港，從張大千好友手裏購得了這三幅傳世之寶。這時人們似有所悟。
直到32年後的1983年，張大千逝世一個月後，《了望》上的一篇文章揭開了這個謎底：
20世紀50年代，大千先生先後把他珍藏的古畫賣給國內，現在珍藏在北京故宮博物院。
這時真相終於大白，張大千以一種特有的方式將這三幅名畫獻給祖國，表現了一腔愛國之情。
張大千去南美途中路過日本，稍作停留，隨後到達阿根廷。但就在此時，侄兒張心德卻因病突然逝世，這對張大千是很大的打擊。
張心德原是四哥張文修之子，因二哥張善孖無後，張大千將他與自己的兒子張心一過繼給了二哥。張心德在子侄輩中最受八叔器重，他一直隨張大千學畫，在敦煌是八叔的重要助手。張大千認為他在後一輩中是最有繪畫天才的，將來必成大器。
自二哥過世之後，張大千發誓永遠照顧二哥的遺孤，因此更格外鍾愛心德，視如親生。孰料剛剛踏上南美，心德由於風寒誘發了原來的肺病，竟一病不起，不多久就病逝在這塊陌生的土地上！
心德的死是張大千繼二哥逝世後受到的又一沉重打擊。他隻覺五內俱焚，黯然神傷。這也是他以後長期滯留南美的重要原因。
1952年，一行人暫居阿根廷首都布宜諾斯艾利斯，租了一處帶有大花園的住宅，張大千取名“呢燕樓”。
這裏環境優美，風景秀麗。張大千心情漸安，心緒漸佳，他寫詩道：
且喜移家深複深，長鬆拂日柳垂蔭。
四時山色青家畫，三疊泉聲淡入琴。
客至正當新釀熟，花開笑倩老妻簪。
近來稚子還多事，黯綠篇章笑苦吟。
張大千由於不了解阿根廷的民俗風情，所以抱著觀望的態度，因此把自己視為春來秋去的燕子，並沒有在阿根廷長住的打算。
在這裏，張大千舉辦了來到南美後的第一次畫展。這位中國繪畫大師的到達，轟動了整個阿根廷。阿根廷各大報紙電台紛紛報道，大街小巷也都流傳著這位中國畫家的傳說，張大千這位美髯翁一時成了阿根廷的新聞人物。
1953年，張大千又舉家前往巴西。在阿根廷居住期間，張大千結交了許多僑居巴西的華僑朋友，這些朋友都紛紛向他誇讚巴西的美，有些朋友也建議他到巴西居住。
張大千自己也說：“在阿根廷總是和一些黃頭發、藍眼睛的外國人打交道，而巴西華僑眾多，我希望在異國他鄉能多看到一些自己的同胞，多聽到一些熟悉的鄉音。而且我聽人說，阿根廷的生活費是香港的2/3，巴西又隻有阿根廷的2/3。帶著這麼一大家人，還是來巴西比較劃算。”
張大千感覺聖保羅是一個由來自許多國家的許多民族組成的城市。有一天，當他登上位於市中心共和國廣場邊上的意大利大廈時，他久久地注視著市中心不遠處的“東方區”。這裏讓他嗅到了故國的鄉土味，感到了家鄉人的親切氣氛。