那時候胡適在北京大學做教授，當時北大有一條規定，凡為北大服務五年，可以帶薪休假一年。由於長年伏案寫作，胡適身體極度疲乏，有多處病症。他在上海看完病後，就到西湖煙霞洞來休養——翁家山的煙霞洞是西湖風景清幽的好去處，胡適就看中了此地的清幽，選擇了一處僧房住下，每日爬爬山，采采花，喝喝茶——天下最好的龍井茶，其實也就在翁家山。那一段時光正值桂花盛開，寺廟內擺攤頭的老人每隔幾天就采來一大抱桂花送給胡適，胡適還去前麵看過那棵巨大無比的“桂花王”，千枝萬枝桂花全部開放，將翁家山開成一片香雪海。每一天胡適都過得十分開心，當然，讓他心情如此之美好，並非僅僅是西湖的美景或桂花的香氣，更主要的源自於他身邊那個讓他癡情的戀人曹誠英。
胡適與表妹曹誠英暗送秋波也非一日兩日，隻是礙於江冬秀的麵子，有情人隻能通過書信互表心曲，難有機緣在一起。這一次胡適選擇來西湖度假，不可告人的真實目的，就是想和曹誠英在一起。此時曹誠英正在杭州讀書，暑假沒有回徽州，正在無所事事，胡適的到來無疑是天賜良機，卷一個鋪蓋卷，就來到清修寺，名義上是照顧胡適的飲食起居，實際上英表妹與糜哥哥一對有情人相思多年，終於可以在西湖畔廝守。胡適在日記中用大量篇幅記述了他與英表妹浪漫繾綣的美好時光：
今天晴了，天氣非常之好。下午我同珮聲（曹誠英學名）出門看桂花，過翁家山，山中桂樹盛開，香氣襲人。我們過葛洪井，翻山下來，到龍井寺。我們在一個亭子上坐著喝茶，借了一副棋盤棋子，下了一局象棋，講了一個莫泊桑的故事。
多年以後，胡適在回憶這段浪漫時光時，寫下了一首詩：
翠微山上的一陣鬆濤，
驚破了空山的寂靜，
山風吹亂了窗紙上的鬆痕，
吹不散我心頭的人影。
詩中對曹誠英的思念躍然紙上。
很長時間裏，胡適與曹誠英的纏綿對外界瞞得滴水不漏，甚至一向草木皆兵的江冬秀也毫不知情，她甚至寫來一封別字連篇的信給胡適，對曹誠英照顧他表示感謝：“珮聲照應你們（同時還有胡適的一個小侄兒也在），我狠（很）放心，不過他（她）的身體不狠（很）好，長（常）到爐子上去做菜，天氣大（太）熱，怕他（她）身子受不了……”
最先發現胡適與曹誠英雙棲雙宿的，是湖畔詩人汪靜之，六十年後，他曾帶著記者來到清修寺，指著那一排僧舍說：“那裏是當年適之先生與珮聲的臥房，胡適住最東頭一間，曹誠英住中間一間，正好在隔壁。上壁開了一扇門，因為胡適住的東間朝東廊無門，於是表哥就從此門經過，出入走廊。曹誠英房舍加隔一層板壁，一分為二，臥室在裏間，外間作起坐間，糜表哥英表妹共用。”這真是為一對有情人天設地造的幽會之所——關上門就是一間，有外客進來，又是名副其實的兩套。汪靜之當年在老家追求過曹誠英，胡適對這個本家親戚與文學同道也不隱瞞。汪靜之發現兩人做了情侶後，真心祝福他們，並沒有對外界八卦。可是沒過多久，徐誌摩帶著一幫朋友來翁家山看望胡適，都是一批相當浪漫的文人雅士，有汪精衛、馬君武、任叔永、沙菲等。徐誌摩老家在杭州過去的海寧，一定要帶他們去看海寧大潮，一行人又驅車來到海寧，徐誌摩本來就是情癡情種，他發現了胡適與曹誠英的男女私情之後，跑到北京到處亂講，導致這一段情事大白於天下。