當然，從好友升格為情人，翁瑞午並非一蹴而就。徐誌摩死後，翁瑞午全權負責照顧小曼，但每天不管多晚，總歸要回家。
據說有一天，過了淩晨兩點，翁借口汽車壞了，一個人在陸家二樓煙榻上睡了一晚。開了這個頭，他便常常如此，小曼睡三樓，不去管他。到月底，徐誌摩的父親徐申如送來三百元，附帶一警告條:如翁君已與你同居，下月停止了。後來才知道，是徐家老爺買通了門房做監視。翁瑞午大怒，索性一不做二不休，搬上三樓，自設一張床睡。從此以後，陸的全部費用，由他負擔。
這故事戲劇性十足，徐老爺派人潛伏，真有點偵探劇的味道，但無論這段敘述有幾分真實度，值得肯定的是，翁作為男人的擔當。以上敘述若確屬實，翁陸同處三層相安無事，兩人之間，還真有了點梁祝的意思。
那翁瑞午的正牌家庭呢?照顧朋友遺孀，一照顧就是二十多年。翁太太的隱忍和無奈，翁家子女對於這位“幹娘”的愛與怨，恐怕都纏結在翁陸的感情裏。擴大了說，陸小曼對與翁瑞午有感情，對於翁家上下，她亦不是沒有感激。
陸與翁約法三章，不要名分，在社會上，不為人所認可，所以翁家的慶吊，她都不能參加。1942年2月1日，翁瑞午的女兒翁香光大婚，新郎是徐悲鴻的學生張元吉，陸小曼精心挑選，送了翁香光一套白綢睡衣褲，還附贈一套瓷器浴具。這套浴具是徐誌摩家當年想在上海開旅館時，特地去英國定製的，非常精致。
抗戰時期，生活蕭條，翁瑞午的女兒翁文光在香港，每月會給翁陸二人寄一千塊港幣做家用;六十年代大饑荒，翁文光又常常寄豬肉、火腿罐頭給他們。後來陸小曼去世，依舊是翁氏後人給她送的終。身後債，翁香光據說是幫她還了不少年。
六十年代初，翁瑞午病重，他托人叫趙家璧和趙清閣來家中，懇請他們照顧小曼。小曼很受感動。不久，翁瑞午去世。
1965年，陸小曼在上海病逝。
陸小曼的人生，好比一個山坡，上山時遇到王庚，在山頂遇到徐誌摩，下山時遇到翁瑞午。這下山的近三十年，她是每況愈下，後期想要振起，身體又不允許。
在淒惶的後半段生命旅程裏，翁瑞午能做到與她相守相伴，也是難得。其實話說回來，翁瑞又何嚐不像陸小曼的一支煙，陪她一同痛苦著，一同消磨著。這兩人身上都有點頹廢的紙醉金迷的氣質。雖然經過歲月的洗禮，這種氣質越來越淡，但他們倆卻依舊仿似戲曲臉譜上，最紅亮和最鮮綠的兩抹油彩。他們是真正屬於舊時代的紅男綠女。從這個意義上說，也許，他們倆才算是絕配。