五、六十年代以來國內的許多左翼的老作家受到整肅，如胡風、丁玲、馮雪峰等等。對此他十分反感，寫了一些文章表示不解、同情以及對大陸文學界的憂慮。盡管這些人當年都有點“唯我獨革”的味道，排斥起像徐這樣的異己來從不留情。同在香港的曹聚仁曾著文批評他這類文章，是庸俗、淺薄之論，說他是在講“風涼話”。徐寫了一篇《悲涼化和風涼話》，認為自己講的不是風涼話，而是“悲涼話”。徐諷刺曹聚仁：“年紀比我大，世故比我深，所以知道怎樣泯滅良心、抹煞事實、見風轉舵、投機取巧。”徐的文學生涯始終處於一種“左不逢源，右不討好”的處境之中，這也是他自己經過審慎的思考做出的選擇，他對與其時代的“主義政治”、“黨派文學”，都刻意保持了距離，力求站在一種中立的個人的立場上說話、寫作，忠實於自己的良知，不作違心之論。在晚年和朋友的一次深談中，他道出了他做這樣的人生選擇的苦衷：那就是要讓後人知道即使是在這樣的“政治掛帥”的時代，也還有不靠政治、黨派吃飯的“不食周粟”的人。即使是在當時是英國殖民地的香港，他也為此選擇陷入困窘，飽嚐了生活的艱辛，受到了來自左右雙方政治勢力的排斥和打擊、冷落和漠視。
徐的浪漫、唯美的文學創作理念的形成與他的法國的留學經曆有直接關係。法國文化是以富有自由、浪漫色彩著稱於世的。張競生曾去法國留學，回國之後終身成為一位浪漫主義愛和美的人生觀的宣揚者、身體力行者；宗白華也曾留學法國，回國之後他放棄了“對黑暗的研究”（社會黑暗），而開始專一於對美的探究。這段留法生活也使徐疏遠了關於“社會正義”的宏大理想，而開始轉向對抽象的人性的思考，對生活自身的思考，他開始將愛與美視為人生的價值意義之所在。愛與美是相互依存的，無愛，則美無從依托；無美，則愛又無從發生。然則何為愛？據西哲言：“愛是對具有價值性的客體一種積極反應。”14“愛就是創造價值15”，“愛”就是價值的給予和評價。徐對兩性之愛有特別的關注，但他關注的是兩性愛情的精神的一麵、通靈的一麵。他說：“戀愛所以會神聖，我覺得完全為有宗教般的信仰，有宗教般的信仰，方有神秘的氣味，像西洋男女間已經沒有半點神秘，所以戀愛不會再有。16”他認為“中國與日本青年的戀愛，一般的反合於西洋文藝上所表現的理想，他們舍棄了貧富與階級以及年齡的懸殊，社會的批評而結合，以至活著偕老……東方人的愛情實在是夠神聖了17”。這種愛情神聖的觀念的出現亦是中國文化“現代性”情境中的一種表現形態，“愛情神聖”的觀念是五四時期人的啟蒙主義的一個重要內容。在徐看來中國傳統社會無所謂“愛情”，以其無兩性交往的平等、自由的緣故，其所言的愛情，“也隻是性的獨占而已”。所以，徐說：“中國以前的戀愛小說，格局既狹，而情操低卑，愛之結果，也隻是討來做姨太太，上侍翁姑，下奉元配而已。18”徐小說中的愛情不通向婚姻，超越於現實，而是在一種虛構的想象的情境中讓人得到對愛的宗教性的神秘體驗。他“從人性中提煉真的、善的、美的成份讓它們在適當的情形中表現出來。19”所以，這種愛的信仰不隻使徐寫出了現代文學史上“為愛情而愛情的小說”，而且使其小說具有了一種超出情愛的人生底蘊。它與“無愛之欲”的性文學的區別在於，徐在這種愛情之中尋找的是個體存在的靈魂感覺，一種美好的、屬我的生命體驗。而這種感覺和體驗既會被膨脹的肉欲所吞沒，也會被高於一切曆史理性所掠奪，而這正是個體靈魂存在的困境所在。
徐生性淡泊，富於幻想，在時代風雲的變幻中，他是一個旁觀者，而不是積極的參與者和弄潮兒。他曾作過這樣的自我說明：“我是淡泊的人，在國外也飄泊了好一陣子，當然對民族、對國家前途的關心，是不需要再講的，但對於政治方麵，我確實懂得太少，我對看人性、看生活的興趣要比談理論大得多……”他是一位人性論者，認為文學的本質在於人性，寫人性的作品方是有永久性和普遍性，“因為人性是不變的，文藝是由人所創造的，而人的概念中，就有一個共同的‘性質’，這就是‘人性’，這人性是撇除了人和一切生物共同的性質外，人的範疇中共有的另一種性質，它超越了一切人種、風俗、習慣、傳統的界限。我們之有一個可以共同溝通思想感情的活動，而這活動有彼此完全相同之處，便是有人性的緣故”。“人性”當然會隨時代社會而改變，但徐認為他絕不會變到連人自身都無非理解的程度，那就成為一種“非人”了。徐的這種人性觀、文學觀無疑地使他走到時代流行信條的對立麵，左翼文壇強調的是人性的“異”和文學的階級之別，所以有“焦大不會愛林妹妹”；“美國大亨與北平撿煤渣的老太太的無法溝通”，“香汗和臭汗不同”等等強調人和文學的階級性的觀點。這種人性觀和文學觀的對立的背後潛伏著的是兩種文化態度和價值立場的對立。左翼強調人和文學的階級性，意在於改造現實，揭穿抽象人性論者所編織的“共同人性”的神話，揭示在這種共同利益下所掩蓋的階級利益，為建立一個無產者專政的社會進行啟蒙動員。但將人性等同於階級性，無視人類共性的存在也同樣是一種意識形態神話。表達人類生存的共同願望，追求人類生存的共同利益的正麵努力在任何情況下都是不能放棄的。
徐不是沒有看到人生的苦難和社會的黑暗，但他並不相信時代所呼喚的光明就能驅趕走這一切。托洛茨基等一大批人的被整肅，使他看到蘇聯改天換地的背後所隱藏的似乎隻是權力的轉換，所以“政治解放”的理想在他已經破滅。他隻願意做一個月夜下的歌者，以自己的戀歌和怨歌來做這悲欣交集、有限殘缺的人生的陪伴。所以，他在一首詩中如是表白了他作為一個“凡人”信念：“我知道人世中有悲哀，傷心，我知道人世中有愚笨和頑蠢，我知道人世中的橫暴、殘忍，我也知道人世中有殘酷的戰爭，可憐的傾軋，嫉妒，老死與疾病，但是我原諒這些，我不願意逃避。我是一個凡人，我愛這人世，所以我不愛白天和太陽，我愛夜裏的燈。我不愛泉水，我愛酒，我不愛風聲雨聲，甚至鶯歌鸝鳴，我愛人間的音樂與歌手的唱和，我愛人間的畫，科學與哲學的詩篇，獨不愛天啟的聖經”。這可以說是一位立足於世俗世界的人道主義者的宣言，表達出詩人的一種非理想主義的悲觀和非現實主義的浪漫態度。