錢氏乃嘉道年間木瀆望族，有良田千頃，祖產殷富，三兄弟錢炎、錢照、錢煦均以詩名，號稱“瀆上三詩人”，平素好結交文人雅士，詩酒風流，引為快事，卻不樂仕進，無意功名。明清之交的木瀆，築園成風，先後有王心一的秀野園、徐政的璽園、徐白的潬上書屋、徐枋的澗上草堂、葉燮的己畦、汪琬的堯峰山莊、吳泰來的遂初園、吳士縉的南宅草堂、王鹹中的石塢山房、畢沅的靈岩山館、徐士元的虹飲山房，還有蕭蕭齋、怡雲山莊、采娛閣、啖蔗軒、環山閣、怡園、盤隱草堂，等等。錢氏兄弟眼熱心癢，也有了效仿先賢、起屋築園之意。
嘉慶十八年（1813$），老大錢炎字杏圃，從歙人汪某手中購得斜橋之西的小隱園，此園本為明朝李氏廢圃，多老樹奇石，錢炎接手後，疏池疊石，構亭建榭，更名潛園，又名桂隱園。
繼老大之後，老三錢煦字千舟，又於潛園之西百步餘，覓得薛氏舊圃十餘畝，重新葺之，鑿池築亭，種竹蒔花，憩息其中，起名“息園”，一時題詠頗盛。
仲弟錢照在弟兄三人中性格最為忠厚沉穩，其詩歌成就也最高。錢照喜愛清靜，嫌斜橋之西環境喧囂有餘，幽靜不足，因為斜橋毗連木瀆中市，是吳西有名的活碼頭，水運繁忙，商旅如織，而息園緊挨的虹橋，又是著名的木瀆麻市所在，四鄉八鎮的農人都來這裏交易，麻業早市異常興盛。錢照在香溪河兩岸尋覓多年，一直沒有找到中意的地塊，直到錢炎造園十五年後的道光八年（1828$），終於在香溪河王家橋北堍購得沈德潛竹嘯軒舊居。沈歸愚乃乾嘉詩壇領袖，深得乾隆寵幸，衣錦歸鄉後，即在蘇州城下塘闊家頭巷口建教忠堂，木瀆的舊居就很少去了。沈的子孫極不成材（據台灣史學家高陽《高宗乾隆》所載），沈德潛索性將木瀆舊宅贈給了外孫章日照，由其處理。後來，日照又把舊宅傳給了兒子章壽五，但終因家道中落，無力修治，隻得任其坍塌破敗。章壽五與錢照同為木瀆詩人，經常詩酒唱和，錢照見前輩詩人的舊居日漸殘頹，不堪寓目，心中不忍，便化了五千兩銀子，從章壽五手中購下了這座寥蕪已久的舊宅院。
錢照買下竹嘯軒後，即行搶修，所幸那座明代遺物楠木大廳的廊廡梁柱甚為完整，稍事修繕便重現昔日氣派。又在園中增葺“眺農樓”、“延青閣”諸勝，築假山，引清流，內擅幽棲之勝，外窺田野四季景色，逍遙自得。從他的《眺農樓》詩中可以看出錢照的性情和詩風，很有些範成大田園詩的意境。
數聲牧笛響西東，稼穡艱難到眼中。
一代桑麻相掩映，天開圖畫是豳風。
錢照愛書，一處書香飄溢的書齋自是不可或缺的，好在沈德潛那座接待過乾隆皇帝的友於書屋還在，隻是屋漏梁傾，岌岌可危。佇立殘垣斷壁之間，可見那株古廣玉蘭濃蔭滴翠，一片生機，時值仲春，千葩萬蕊，滿園花光，錢照見了，自是唏噓不已。書屋在當年秋天便重葺一新，錢照特地去了趟蘇州經史巷，請吳縣狀元、時已辭官歸鄉正執掌紫陽書院的石韞玉老先生題寫齋名：友於書屋。
新園落成於次年三月既望，因錢照字端溪，便取名為“端園”。此時，正值園中新栽的牡丹花盛開，姚黃魏紫，繁豔嬌妍，錢照便在園中設宴，遍請瀆上詩家，曲水流觴，即景賦詩。錢照一人竟一氣嗬成寫下了三十首詩，而且全部采用了蘇東坡的《北台》詩韻。
每年清明，錢照都要開園放春，吸引了遠近的不少遊者，文人墨客更是聯翩而至，端園很快聞名吳中。一日，杭州詩人龔自珍從湖州坐船遍遊太湖名勝，由洞庭東山徑往木瀆，遊覽端園，寫下了“妙構極自然，意非人意造”的揄美之句，傳為佳話。詩人袁景瀾舉家踏青郊遊，曾慕名赴端園一遊，作詩一首紀念：“暖風吹散雨簾纖，園以端名結構嚴。簣覆庭山蹲虎豹，門喧村市集魚鹽。亭台此地宜鳴屟，楊柳今朝記插簷。令節攜家尋勝賞，踏青泥濕繡鞋尖。”
錢氏兄弟咫尺三園在瀆上風光了幾十年，錢端溪儼然瀆川詩壇領袖，整日與友人在園中詩酒唱和，怡然自樂。他還親手繪製了“端園十八景”，分別題詠，合編於他的《端園詩抄》之中。