萬曆二十六年（1597年）春，湯顯祖退出官場，回到故鄉。他的新居建在臨川的沙井巷內。他在新居前種植了一株白山茶花，因此，他將整個新居命名為“玉茗堂”。在玉茗堂內，他首先開始了《牡丹亭》傳奇的創作。這部傳奇描寫杜麗娘死而複生，終於與柳夢梅結為夫妻的愛情故事。一日，家人突然不見了他的蹤影。到處尋覓，才發現他臥在庭院的柴堆上，用衣袖遮臉，在低聲哭泣。家人驚問其故，湯顯祖說：“當寫到二十五出‘賞春香還是舊羅裙’一句時，悲不自禁，以致如此。”
這年秋天，湯顯祖寫完《牡丹亭》。萬曆二十八年（1599年），他寫出《南柯記》。次年，他又寫出《邯鄲記》。這三部傳奇和他以前在南京時與朋友共同創作的《柴釵記》，因為它們都描寫到人物進入夢境的情節，所以，被人們合稱為“臨川四夢”。湯顯祖生前說過：“一生四夢，得意處惟在牡丹。”他把《牡丹亭》看成是自己的戲劇代表作品。
萬曆四十四年（1615年）六月十六日，湯顯祖在臨川病逝。
徐霞客漫遊神州
崇禎五年（1632年）秋，一場大雨集中降落在小寒山一帶。小寒山東頭陳家庭院裏的小池塘積滿了雨水。主人陳函輝正站在池塘邊，望著池水出神。這時與他有金石之交的47歲的徐霞客，偕其兄徐仲昭走了進來。陳函輝連忙將兄弟二人讓進屋中，為他們換下濕漉漉的外衣，又命童子搬來交椅。陳函輝問道：“二位從何而來？”仲昭道：“我陪霞客三遊天台山、雁客山，正好路過這裏。”陳函輝道；“顏延之曾說，嵇康與世俗之人的關係不諧調，他本是個餐霞之人。霞客先生幾十年如一日，一直在山林野澤中奔波，是一位真正的餐霞宿露之人啊！”徐霞客大笑道：“難怪人人都不叫我的名子‘徐弘祖’，都叫我的別號‘徐霞客’。”陳函輝一邊挑亮燈盞，一邊道：“霞客先生，何不將您這些年來旅遊的經過，大略說給愚兄聽聽？”徐霞客霍然站起身來，眨了眨一雙綠色的眼睛，滔滔不絕地講開了：“萬曆三十五年，愚弟頭戴家母縫製的遠遊冠，腳穿芒鞋，離開家鄉江陰，泛舟於煙波浩淼的太湖，登眺湖中巍然對峙的東、西洞庭兩山，探訪洞庭西山內那窈窈冥冥的林屋洞。萬曆三十七年，暢遊齊、魯、燕、冀之間，登泰山，拜孔林，謁孟廟，吊峰山孤桐。萬曆四十一年，東臨屹立於萬頃狂濤之中的落迦山。南下攀幽邃窈窕的天台天，追尋東漢人劉晨、阮肇采藥遇仙女之處；陟‘千岩竟秀，萬壑爭流’的雁宕山，觀望轟然下瀉的大、小龍湫瀑流。唯萬曆四十二年至四十三年間，私念家在吳中，西鄰江南佳麗之地——秣陵（今南京），豈可失之交臂？於是，二十四橋明月，三十六曲濁河，一覽無餘。等到萬曆四十四年，我到更遙遠的地方旅遊，春初，遊鬆奇石怪、雲翻泉湧的黃山，峰巒錯聳的白嶽。入夏，遊山環六天峰（三十六峰）的武夷，溪曲三三水（九曲溪）的九曲。早秋，遊竹樹交陰、鬆柏蔥鬱的五泄，清流激湍、映帶左右的蘭亭，一觀大禹王陵墓旁的窆石，遍覽水光瀲灩的西子湖。萬曆四十五年雖家居，然而，也去過鄰近的宜興，察看了善權、張公諸洞。萬曆四十六年，攀登昂霄逼漢的九華山、挺秀大江邊的廬山。泰昌元年，在荔枝新熟之時，抵達摩雲插天、勢欲飛動的江郎山，遊覽置於萬山之上、圍青漾翠的九鯉湖。天啟元年至二年，曆覽當天地正中的嵩山，‘勢飛白雲外，影落黃河裏’的華山，號稱寬廣八百裏的太和山。俯窺瀛海、渤解，下溯瀟水、湘江。在我看來，天下九州小得象九個模糊的小點，尚隱隱如指掌間。回憶起所遇的異人，如匡廬的慧燈禪師，終南的采藥野人，華山的休糧道人，他們了無凡夫俗子的樣態，至今，猶恍恍惚惚地站立在眼前。”陳函輝聽了，他的心目中好象出現了一道無窮無盡的銀河一般。他長長地歎了口氣，問道：“先生如此旅遊，難道不覺得疲倦？”徐霞客道：“不覺得疲倦。對於我大明天子所統治的地方，我並未全去過。粵西、滇南，有待於來日遊覽。至於說到峨嵋一行，因奢酋發難，我僅草草至秦隴而返，這並非是我的意願。我本想到閬風、蓖崳等荒遠的地方考察一番！”說罷，才重新坐下。仲昭接著對陳函輝道：“我弟非常孝敬老人，每次出遊，總是攜帶琪花、瑤草、碧藕、雪桃一類的東西而歸，為家母上壽。又向家母講述各地的風土人情以及沿途的新鮮見聞，家母聽後，總是喜形於色。霞客曾因家母年邁，不願到遠方旅遊，家母卻對他說：‘從前就跟你說過，好男兒誌在四方，豈能象藩籬中的雉雞、車轅下的馬駒？我尚能多吃飯，現在我給你做出個樣子看看！’說罷，令霞客陪她遊荊溪、句曲等地。一路總是走在霞客的前麵。天啟四年，家母已八十大壽。這年。霞客又出門，正在華山下的青柯坪遊覽，忽然心動，急急忙忙地返回家。這時，家母已染重病，次年，從春到秋，霞客每天把湯、藥端到家母的床褥間，衣未嚐解帶。家母去世，霞客日夜象個孩子似的哭泣。等到服闋，霞客慷慨地說：‘從前，因母在，此身未可許人；如今，何不將此身許於山水？’於是，他再次來到家父、家母的墓前，磕了幾個頭，從此，不計裏程，不計年月，開始了新的旅遊生涯。持數尺長的鐵棍作磴道，無險不攀。能在霜露之下睡覺，能忍數日之饑餓，能逢食即吃，能與山魈、野魅在夜間對話，身穿單衣、夾衣就能過冬，能徒步走數百裏。夜裏，靠著破壁或枯樹，點燃鬆枝，走筆作遊記。”陳函輝聽了，向仲昭問道：“您有這樣一位弟弟，是否感到驕傲？”仲昭未及答話，隻見弟弟已淚流滿麵。他也就不好意思再說什麼。他知道，是因為自己說的一些話，引起弟弟對老母的思念之情。陳函輝見仲昭不答話，猛然把目光投向徐霞客，徐霞客破泣為笑，並故意問自己：“我這是怎麼了？”問罷，又哈哈大笑起來。這時，童子端上酒菜，三人一起暢飲起來。酒席上，陳函輝向徐霞客問道：“君可曾一登雁宕山絕頂！”徐霞客笑而不答。