也許是為了自己心中那一個隱藏了的生活理想，也許是想遠離塵囂過與自己本性相近的生活，1958年，張耀樞夫婦參加了四川省第一批幹部下放，到西昌農村鍛煉。
四川財經學院召開了“下放幹部歡送會”。張耀樞的兩個孩子張正平（11歲）、張采（8歲）及幾個侄兒侄女都跟著大人去看熱鬧，他們看到要下放的大人身上被撒了好多碎金紙屑。
會後，張耀樞夫婦帶著孩子們回成都柿子巷的家。張耀樞此時所住的房子，是學院給的公房，房子大，一個院子裏住了幾家人。兒子正平那個時候愛在家裏用板凳開火車，這個階段，正平、張采都在他們身邊。
1958年下放時，女兒張采由保姆帶在成都。1959年，夫婦二人調到西昌專科學校，張耀樞在講義室，顏涓在圖書館做教輔員。
1959年他們兩個孩子都在西昌待了一陣子，張采在西昌上小學，兒子正平在家裏。後來顏涓生病無力照顧兩個孩子，他們就把正平送回成都交給顏涓的同學加好友的陸文英。當時陸文英的愛人老周在家養病，正平就一直由他帶，一帶就是十來年，很有緣分。
在西昌的張采，給成都的親人寫信說：“我們那裏的環境是：‘背靠瀘山，麵向邛海。’”她記下了媽媽的口述，目的是好讓成都的親人放心。
據原四川林學院教務長、張耀樞的老領導馬永寧介紹：
西昌專科學校在邛海邊上，與西昌師範學校相距一公裏多路。1962年，四川林學院由雅安遷至西昌，與這兩所學校合並，並在這兩所學校的校址上建立了四川林學院，張耀樞調林學院教務處下麵的教材科印講義刻蠟版。
他業餘時間就給人免費看病。由於林學院衛生科沒有中醫醫生，他就常常去那裏業餘免費給人看中醫，紮針灸，衛生科的醫生也很歡迎他去。他看病都是業餘時間，不是醫生，但是醫術很好。
他一直在教材科刻印資料，是我們教務處的行政工作人員，工作做得非常好。他負責印刷教輔材料，印刷所裏到處都是紙，可是他自己寫自己的東西的時候，都是用廢紙，從不用公家的，這一點就很難得。
工作從不講價錢，一沒有官架子，二沒有過去舊文人的高傲，能和大家打成一片。做好事從來不說，也不讓別人說，不圖名不圖利，過得自在。他進入佛門和他一貫的人格是相一致的。他在林學院給人看病從不要報酬，群眾對他也很好。
他不愛玩兒，就愛看書，看醫書文學書等。40多歲的時候，愛人顏涓去世後，他一個人很簡單的生活，食堂打飯吃，吃了就完事。清心寡欲的，真是不簡單。
他不喜歡熱鬧，文質彬彬，生活欲望不高，維持生命就好。從不挑吃挑穿，不為名為利，對親人、不熟悉的人、整過他的人，都一視同仁，分不清對誰太熟。我做領導時和我當黑幫時，他對我的態度都是一樣的。
學校上上下下沒有一個人把他當壞人，都稱他是好人，這就不簡單了。
從1958年下放到西昌，直到1964年愛人去世，生活在邛海之濱瀘山腳下的張耀樞，對自己的生活是喜歡和安定的。幹土壘成的平房，雖然沒有了過去的舒適，但是妻兒相伴的日子也是其樂融融。閑時，在房屋外的空地上，鋤地種菜。夏天，與同事中的京劇票友，就在家外麵的大黃桷樹下，一邊喝茶一邊唱兩嗓子，仿佛有了點半耕半讀的意味。