正當潘漢年在政治上飛速發展的時候，他個人的家庭生活卻使他陷入了極大的痛苦中！
潘漢年的原配夫人許玉文。是在他18歲那年由母親做主結婚的。潘漢年在“五四”風潮影響下步入文壇，而後又投筆從戎、棄文從政，成為中共在三十年代聞名上海的思想、文化戰線上的組織者和領導人。他不僅有著遠大的革命誌向，有著超乎常人的組織能力，而且一直崇尚個性解放，並極富有叛逆的性格。他的理想的伴侶，絕不是許玉文這樣封閉的農村婦女。因此，從他結婚伊始就埋下了悲劇種子。
許玉文也深知潘漢年不愛她。但她是在傳統的東方道德中長大成人的，所謂“嫁雞隨雞”、“嫁狗隨狗”、“從一而終”的封建觀念是根深蒂固的。她作為一個女人如何獲得情感的需要和解脫呢？唯有在冰冷的夫妻生活中向播漢年尋釁和宣泄。這樣，就必然陷入了夫妻吵架的惡性循環。就在他們結婚不久，潘漢年把許玉文帶到上海同居的時期，他們之間就吵得不可開交了。
播漢年是受“五四”風潮的影響，從封建家庭的束縛下殺入社會的。因此，他的思想和情感無不打上這一特定的時代的印證。他一方麵有著向封建堡壘宣戰的大無畏的勇氣，另一方麵又很難和傳統的倫理道德一刀兩斷。反映在他和原配夫人許玉文身上，也必然是雙重的性格：他一麵不愛這位沒有情感基礎的妻子，另一麵作為孝子又不敢悖逆母命，斷然和妻子離婚。其精神痛苦是可想而知的隨著他的學識的增長，地位的升遷，其精神越來越痛苦。
然而，潘漢年作為一個矢誌向前走去的革命者，他雖然從形式上難以割舍由母親包辦的這樁婚事，但他的靈魂必然是本能地要飛離自己的軀殼，尋求一種精神上的滿足。這就是時人―尤其是姚蓬子對潘漢年的私生活頗多微詞的由來。
這時的潘漢年有沒有婚外戀呢？至今尚未查到有關這方麵的證據。但是，遠在他初到上海謀生的時期，就有精神中的戀人了。又寸此，尹琪先生在其專著中做了如下記述：
這一年的初夏，潘漢年得到一個偶然的機會去了一趟北京。原因是他的一個表妹中學畢業了，要到北京去考學校。姑母不放心年輕的女孩單身遠行，便寫信讓潘漢年送她去北京。潘漢年向中華書局臨時請了半個月假，專程伴送表妹赴京。這是一件使潘漢年很高興的事，也是他終生難忘的一件事。直到他晚年身處逆境時，還沒有忘卻他最早所經曆的這一次初戀的浪漫故事。原來他同這位表妹自小就熟悉要好，可以說是青梅竹馬，情投意合。雖然潘漢年遵母命結了婚，但在感情上一直戀著這位表妹。在潘漢年離開宜興到上海來之後，他和這位表妹仍有不斷的書信往來，互相傾述心情和情思……他把她送到北京後又在那裏陪伴卷玩了一些日子，他們幾乎是形影不離，卿卿我我，如癡如迷。但這隻是他們追求的一種單純的所謂精神戀愛，事實上都還受著家庭，禮教的管束，不過是一種明知不可為的暫時陶醉罷了。
這就是潘漢年的性格：一方麵，他有著和敵人抗爭到底的氣魄和聰明；另一方麵，他又沒有和自己靈魂深處的傳統道德決裂的勇氣和決心。更為嚴重的是，他並沒有在多年的革命生涯中磨掉性格中的軟弱方麵，由於潘漢年這種悲劇性格的發展，必然導致了他家庭悲劇的發生；加之時代悲劇的推衍，終於導致了潘漢年的政治悲劇。
潘漢年在這種雙重性格的支配下生活著。他全身心地投入到黨交給的工作中去，同時，他又借用小說的形式抒發自己悄感深處的痛苦。他在這一時期寫過不少小說，但他自己很喜歡其中兩個短篇：《離婚》和《求愛》。如果仔細分析一下這兩部作品的內容以及小說主人公的情調，不難發現潘漢年的原配夫人許玉文和他小表妹的影子。難怪他當時的文友直言不諱地說：“光華書局出版了播漢年的一本小說集《離婚》，恐怕主要就是寫他自己的事。”