這所住宅，是張大千離開祖國後在故土上修建的第一所房屋。大約感到此處是平生最後的住所，張大千依照他曆來的治園如作畫的要求，不遺餘力。施工過程中，某樣東西不合他的意，不惜成本拆了重修。
他按照北京“四合院”的格局，建一幢有走廊連接的二層樓住宅，並按自然的地形，設計了內外花園，環蓽庵重達5000千克的“梅丘”也由船運過來了，許多的花木及盆栽也遠由巴西的八德園及美國環蓽庵用飛機運來。
1978年8月，曆時一年，這所名叫“摩耶精舍”的庭園竣工了。“摩耶精舍”命名的含義，取自佛經典故。
喬遷之日，賀客盈門。剛好80歲的張大千身穿團花閃緞單袍，頭戴一頂黑色絲葛料子做的六角形軟帽，腳蹬白色布底黑色禮服呢麵圓口鞋，手持一柄漆得烏亮的樹根手杖，笑嗬嗬地站在門廳迎接客人。
站在他身邊的徐雯波穿著淡綠色的手繪荷花旗袍。這樣的旗袍，張大千一共隻繪過三件，一件給她，一件給女兒，一件給台灣著名京劇演員郭小莊。
寒暄之後，主人陪著客人們四處轉轉。這所二層樓的住宅，大門向西，以院子為核心，每間房子都麵對院子，整體感、連續感很強。院內有假山，栽有上百株梅花和鬆柏，還擺放著一盆盆垂枝鬆、佛肚竹、龜背竹、龍柏，一陣陣清香飄逸院中。
木棋橋下，外雙溪的流水穿橋而過，注入池中。一樓的大畫室坐北朝南，一架大畫案就幾乎占了畫室三分之二的麵積。二樓有5間臥室、一個小畫室和天井。再上一層，就是屋頂花園，由許多樹景和盆景組成，從屋頂花園能俯瞰後院景色。
沿著後園白石鋪成的小徑，經過一株株、一叢叢小葉黃楊、福建山茶、榕樹、紫薇，來到竹棚。沿竹棚蜿蜒而上，便來到位於內、外雙溪分界線上的雙連亭。這裏是摩耶精舍風景最好的地方，它們分別叫分寒亭、翼然亭。
分寒亭出自李彌詩句“人與白鷗分暮寒”；翼然亭則來自歐陽修《醉翁亭記》：“峰回路轉，有亭翼然臨於泉上者。”雙連亭被青山環繞，雙溪圍就，鳥聲、水聲、樹香、花香、山青、水翠，聲、味、色俱全。
整個建築群遠遠望去，“兩山聳峙，溪水中流，流泉清越，翠竹叢生”。近前觀看，成直角形的兩道長堤與四合院兩層建築之間，形成一個後花園，由“梅丘”和“影娥池”兩部分組成。
因張大千酷愛梅花，鑒於古人有“梅林”“梅村”“梅苑”“梅園”，才把巨石題名“梅丘”，並把它作為百年之後的墓碑看待，並作有《題梅丘石畔梅》詩一首：
片石峨峨亦自尊，遠從海外得歸根。
餘生餘事無餘憾，死做梅花樹下魂。
“影娥池”則取意在池中映著月亮時，能“對影成三人”。因張大千年邁，頭暈目眩，不能如李白“舉頭望明月”，隻好“低頭望明月”了。
張大千高興地對朋友們說：“這裏就是我臥月看梅，聽風聲雨聲的人境桃源。”
上了年紀，老人常常感到自己的時間不多了，他越來越覺得要抓緊人生最後的日子，再畫一兩幅能傳之後世的不朽作品，做一兩件有益人世的事情。
後來他畫了一幅《桃源圖》，題寫了一首詩，表達了結宅雙溪的情趣：
種梅結宅雙溪上，總為年衰畏市喧。
誰信阿超才到處，錯傳人境有桃源。