然而，潘漢年作為一個矢誌向前走去的革命者，他雖然從形式上難以割舍由母親包辦的這樁婚事，但他的靈魂必然是本能地要匕離自己的軀殼，尋求一種精神上的滿足。這就是時人－一龍其是姚蓬子對潘漢年的私生活頗多微詞，也就是他的妻子許玉文“跟蹤潘漢年鬧到光華書局來”的所在。
這時的潘漢年有沒有婚外戀呢？至今尚未查到有關這方麵的證據。但是，遠在他初到上海謀生的時期，就有精神中的戀人了。對此，尹棋先生在其專著中作了如下記述：
這一年的初夏，潘漢年得到一個偶然的機會去了一趟北京。原因是他的一個表妹中學畢業了，要到北京去考學校。姑母不放心年輕的女孩單身遠行，便寫信讓潘漢年送她去北京。潘漢年向中華書局臨時請了半個月假，專程伴送表妹赴京。這是一件使潘漢年很高興的率，也是他終生難忘的一件事。’直到他晚年身處逆境時，還沒有忘卻他最早所經曆的這一次初戀的浪漫故事。原來他同這位表妹自小就熟悉要好，可以說是青梅竹馬，情投意合。雖然潘漢年遵母命結了婚，但在感情上一直戀著這位表妹。在潘漢年離開宜興到上海來之後，他和這位表妹仍有不斷的書信往來，互相傾述心情和情思。……他把她送到北京後又在那裏倍伴著玩了一些日子，他們幾乎是形影不離，仰卿我我，如癡如迷。但這隻是他們追求的一種單純的所謂精神戀愛，事實上都還受著家庭、才L教的管末，不過是一種明知不可為的暫時陶醉罷了。
這就是潘漢年的性格：一方麵，他有著和敵人抗爭到底的氣魄和聰明；另一方，他又沒有和自己靈魂深處的傳統道德決裂的勇氣和決心。更為嚴重的是，他並沒有在多年的革命生涯中磨掉性格中的軟弱方麵，相反，隨著他的地位的改變，這種軟弱的性格又被他自己巧妙地保護起來，尤其是在對待自己一作中的失誤－一如在別人有意整他而施加壓力時，他就會“產生瞻首顧後，甚至患得患失，畏首畏尾，委屈求全”了。由於潘漢年這種性格悲劇的發展，必然導致r他家庭悲劇的發生；加之時代悲劇的推衍，終於導致了潘漢年的政治悲劇。此乃後話，留在下文詳述。
潘漢年在這種雙重性格的支配下生活著。他全身心地投入到黨交給的工作中去，同時，他又借用小說的形式抒發自己情感深處的痛苦。他在這一時期寫過不少小說，但他自己很喜歡其中兩個短篇：《離婚》和《求愛》。如果仔細分析一下這兩部作品的內容以及小說主人公的情調，不難發現潘漢年的元配夫人許玉文和他小表妹的影子。難怪他當時的文友直言不諱地說：“後來光華書局出版了潘漢年的一本小說集《離婚》，恐怕主要就是寫他自己的事。”
潘漢年為了填補精神世界中的空虛和痛苦，他把本來應屬於自己感情生活的時間和精力，全部用在了寫作和工作上。
在這期間，令潘漢年傷痛的事實在是太多了衛尤其是他看到昔日的戰友消極了，叛變了，或充當了反動當局的走狗從事攻擊共產黨人的工作，他內心的傷痛是難以言諭的。例如“創造社的小夥計”之一的周毓英投奔了張資平，並在《樂群月刊》七發表《忠誠的批判》，大罵共產黨人是“內奸”，誣蔑無產階級革命是由外麵衝進中國的。而這時有關革命文學的論爭也日趨尖銳、對立，各種思潮淪點風起文壇，一時好不熱鬧。他既為了回擊曾是文友的周毓英的進攻，同時也為了闡述自己對無產階級革命和無產階級文藝運動的關係，在他和葉靈鳳合編的《現代小說》第三卷四期上，發表了《內奸與周毓英》一文，寫下了這段文字：
假如中國本身的經濟社會沒有變革的必然性，是不會產生革命的浪潮，現在中國產生無產階級解放的革命運動，他的動力不是外國“衝進”來的，是中國的現存生產關係，對於無產階級的生產力，起了不可抑止的衝突，遂有無產階級的革命運動，因為這一關係，無產階級的革命意識，不可免的要反映到文藝上，於是不可免的產生了中國的無產階級的文藝運動。
這時的創造社和太陽社的骨幹成員，都是一些共產黨人，並在潘漢年這位文委書記的領導下開展工作。自然，也包括了和魯迅、茅盾等有關革命文學的論戰。加之，當時中共中央主要負責人瞿秋白、李立三等人相繼推行左傾盲動主義，不僅使得中國革命遭受更大的挫折，而且打擊報複、宗派主義也開始抬頭。這必然也要影響到革命文藝運動的正常開展。潘漢年曆經深思熟慮，實事求是地指出：“在目前中國無產階級文藝運動的狀態中，自然不免有許多錯誤及不正確的傾向，確是很要以批評的手段來指摘這些傾向”。同時，他還明確地指出：“一個真正的馬克思主義者，最能夠接受正確的客觀的批判。”很明顯，潘漢年又走在了左翼文化人的前麵。
潘漢年敏銳的思想和組織才能，被更多的中央負責人所了解。到1928年冬天，中共中央決定：將原屬江蘇省委宣傳部的文化黨組劃歸中央宣傳部直接領導，仍由潘漢年擔任黨組書記。也就是從這時起，“潘漢年的組織關係轉到了中央的一個直屬支部。他的生活費用也改由組織直接供給，從而成了一個名副其實的職業革命者。”
越年―1929年，六大以後當選為中央政治局候補委員的李立三回到上海，分管中共中央宣傳部工作。他根據形勢的發展，遂將隸屬宣傳部的文化黨組擴大為“文化工作委員會”，依然任命潘漢年為“文委”第一任書記。
時年不足二卜四歲的潘漢年，肩負著黨的文化工作的重任，這足以證明黨對他寄予了很大期望。對此，他深感責任重大，不敢有半點驕傲和虛飾。正當他以“正確的客觀批判”態度進行自我批，並思索和魯迅先生這場有關革命文學論爭的失誤的時候，李富春同誌告訴潘漢年：中共中央準備過問文藝，請他先做必要的情況彙報。
潘漢年感到黨的文化工作將有重大變化，遂又以極大的熱情：迎接這一重大變化的早日到來！