真正見了麵，胡蘭成發現張愛玲與他想象中的完全不一樣。他一是覺得張愛玲個子太高；二是覺得她坐在那裏，幼稚可憐的樣子不像作家，倒像個未成熟的女學生。但兩人一談就是五個小時。從品評時下流行作品，到問起張愛玲每月寫稿的收入。對一個初次見麵的小姐問這樣的問題，實在是失禮的，但“因為相知，所以懂得”，一次傾談已讓兩人有了知交之感，所以張愛玲倒未覺得胡蘭成的話很唐突。胡蘭成送張愛玲到弄堂口，並肩走著，他忽然說：“你的身材這樣高，這怎麼可以？”隻這一句話，就忽地把兩人的距離拉近了。“這怎麼可以”的潛台詞是從兩個人般配與否的角度去比較的，前提是已經把兩人作為男女放在一起看待了。張愛玲很詫異，幾乎要起反感了，但，卻有種莫名的好感。
次日，胡蘭成便去回訪張愛玲。她房間華貴到使他不安，胡蘭成形容說，三國時劉備進孫夫人的房間，就有這樣的不安。那天，張愛玲穿了一件寶藍綢襖褲，戴了嫩黃邊框的眼鏡。多年後，胡蘭成對這些細節都有著清晰的回憶。此後，他每天都去看張愛玲。一天，他向張愛玲提起刊登在《天地》上的照片，張愛玲便取出來送給他，還在後麵題上幾句話，說見了他，她“變得很低很低，低到塵埃裏。”但她“心裏是歡喜的，從塵埃裏開出花來。”這一年，胡蘭成38歲，張愛玲24歲，很快，他們戀愛了。胡蘭成在南京辦公，一個月回一次上海，一住八九天。每次回上海，他不回自己的家，而是徑直趕到赫德路，先去看張愛玲。兩人每天在一起，喁喁私語無盡時。但當時世人並不了解他們之間的感情，隻覺得胡蘭成的政治身份是漢奸，又有妻室，年紀大到幾乎可以做張愛玲的父親。世人都覺得這樣的愛情似乎有些不可思議，都為張愛玲惋惜。
胡蘭成是懂張愛玲的，懂她貴族家庭背景下的高貴優雅，也懂她因為童年的不幸而生成的及時行樂的思想。僅僅這一個“懂得”，也許就是張愛玲愛上胡蘭成的最大原因。張愛玲本身就不是一個世俗之人，她不以塵世的價值觀去品評一個人。她沒有什麼政治觀念，隻是把胡蘭成當做一個懂她的男人，而不是所謂的“汪偽政府的漢奸”；她似乎也不在乎胡蘭成有妻室的這個事實，她在一封信中對胡蘭成說：“我想過，你將來就是在我這裏來來去去亦可以。”1944年8月，胡蘭成的第二任妻子提出與他離婚。這給了張愛玲與胡蘭成的愛情一個升華的機會，他們就這樣結婚了，沒有法律程序，隻是一紙婚書為憑。因為胡蘭成怕日後時局變動，自己的身份會拖累張愛玲；也沒有任何儀式，隻有張愛玲的好友炎櫻為證。“胡蘭成與張愛玲簽訂終身，結為夫婦。願使歲月靜好，現世安穩。”前兩句是出自張愛玲之手，後兩句是由胡蘭成所撰。
這一段時間也是張愛玲創作生涯中的黃金時代。胡蘭成為她的寫作提供了很多的靈感，兩人會一起討論一些文學話題。而張愛玲的散文《愛》，在開頭就說，這是一個真的故事——胡蘭成的庶母的故事。
1944年，日軍在中國的勢力已經江河日下。而胡蘭成作為“汪偽政府”的官員，也有了危機感。有一個傍晚，兩人在張愛玲家的陽台上看上海的暮色。胡蘭成對她說了當下的時局，覺得自己恐將有難。張愛玲雖對政治不敏感，但此刻，她知道，這次國和家真的連在了一起。胡蘭成說：“將來日本戰敗，我大概還是能逃脫這一劫的，就是開始一兩年恐怕要隱姓埋名躲藏起來，我們不好再在一起的。”張愛玲笑道：“那時你變姓名，可叫張牽，或叫張招，天涯地角有我在牽你招你。”這是一句半開玩笑的話，但不久，兩人果真是要分別了。
1944年11月，胡蘭成到湖北接編《大楚報》，開始了與張愛玲的長期分離。那是一個時常有警報和空襲的時期。有一天，胡蘭成在路上遇到了轟炸，人群一片慌亂，他跪倒在鐵軌上，以為自己快要炸死了，絕望中，他隻喊出兩個字：愛玲！
但胡蘭成既是一個缺乏責任感的人，也是一個天性風流的人。來武漢不久，他便與漢陽醫院一個17歲的護士周訓德如膠似漆。他不向小周隱瞞張愛玲，但又向她表明如果娶她，就隻有做妾了。但小周的生母是妾，她的反應是：自己不願重蹈覆轍。於是胡蘭成又進行了正式一次婚禮，似乎張愛玲根本不存在。張愛玲一無所知，仍寫信給他向他訴說她生活中的一切瑣碎的小事。
1945年3月，胡蘭成從武漢回到上海。在張愛玲處住了一個多月。此時，他才將小周的事情告訴了張愛玲。張愛玲無比錯愕，她以為自己和胡蘭成的愛情是不可動搖的，但現在怎麼會冒出來一個小周？此時，張愛玲的心已被刺傷了，但她隻是默默承受。兩個人在一起的這段時間，胡蘭成倒是再也不提小周了。5月，胡蘭成又回到了武漢。一見到小周，就有回家的感覺——他又忘了張愛玲了。
1945年8月15日，日本投降，胡蘭成的“末日”也來了，他知道重慶方麵定會懲辦他這樣的漢奸。於是他逃到了浙江，化名張嘉儀，稱自己是張愛玲祖父張佩綸的後人，住在諸暨斯家。
斯家的兒子斯頌德是胡蘭成的高中同窗，胡蘭成年輕的時候就曾在斯家客居一年。斯家的男主人已逝，是斯家主母維持生計。斯家還有個庶母，叫範秀美，大胡蘭成兩歲，曾經與斯家老爺生有一女。在這樣的亂世中，斯家人安排胡蘭成去溫州範秀美的娘家避難，由範秀美相送。這一路，胡蘭成就又搭上了範秀美。未到溫州，兩人便已做成夫妻，對範家人以及鄰居也以夫妻相稱。
然而，此時張愛玲竟一路尋到了溫州。兩個女人與一個男人的三角關係，無論如何都隻能是尷尬。