武元衡本也是文人出身，對薛濤也有所耳聞，今日一見，果然才貌雙全，不禁動了惜玉憐香之心，於是帶薛濤返回成都。
在薛濤的有生之年，劍南節度使總共換過十一位，而每一位都對她十分青睞和敬重。在韋皋之後，繼任劍南節度使的李德裕同樣非常欣賞薛濤之才，他將薛濤自官妓中除名，並且在萬裏橋邊、枇杷巷內為之營造了一座幽雅別致的“吟詩樓”，讓薛濤過上了獨守深閨的安逸生活。
有了李德裕這個強大後盾的支持與保護，薛濤終於獲得了人身自由。在這段日子裏，她的心情是開朗的、明快的，她一麵廣收博識，一麵吟詩作書，使她的境界得到進一步升華，寫下了不少懷舊、抒情的優美詩篇。無怪乎著名詩人王建（一說胡曾）寄詩薛濤曰：
萬裏橋邊女校書，枇杷花下閉門居。掃眉才子於今少，管領春風總不如。
然而薛濤畢竟是一個有七情六欲、食人間煙火的女人，她需要安撫，需要愛情。她不斷回憶起往日，軍營裏那些美好的品德、雄偉的身影、親切的話語，發自肺腑的同情與安慰，無微不至的關懷與照顧。
她在詩中寫道：
長來枕邊牽情思，不使愁人半夜眠。何處江上有笛聲，聲聲盡是迎郎曲。
正當薛濤心煩意亂的時候，一位白馬王子闖入了她的生活，他就是風華正茂、才華橫溢的杜牧。
年輕的杜牧本也是風流倜儻的才子。一次，杜牧出外旅遊，來到成都，專門帶著美酒到吟詩樓，拜訪薛濤。此時，薛濤的詩詞已廣為流傳，能有機會見到薛濤，是他最大的企盼。
今日終於來到了吟詩樓，眼望著這位國色天香的女子，他的心緊張得怦怦直跳。而薛濤雖對杜牧的才名已有所聞，但是仍有戒心，所以她隻用接待一般客人的禮儀接待了他。
杜牧對薛濤平淡的接待並沒有在意，仍然神采飛揚地與薛濤攀談。當他看到樓內立的一幅侍女屏風時，不盡觸景生情，詩興大發，寫道：
屏風周昉畫纖腰，歲久丹青色半銷，斜倚玉窗鸞發女，拂塵猶自妒嬌嬈。
用丹青上的侍女來暗喻眼前的名花，詩中所隱含的對薛濤過去遭遇的同情和對今日的讚美，不由得使薛濤對杜牧由戒備轉為親切，一股暖流湧上心頭，撫今追昔，委屈的淚珠滴濕衣襟。
杜牧見時機已到，於是著意溫存、慰藉，將薛濤擁入懷中。薛濤那顆已經凍結了的心又被暖化。
於是當此際，香囊暗解，羅帶輕分，銷魂。正所謂一對鴛鴦春睡去，錦衾羅褥不勝春。
第二天，薛濤送走了杜牧，冷靜下來細細一想，又感到自己過於孟浪了，非常後悔。
雖說杜牧年輕有為，人也英俊，但聽說他也是秦樓楚館的常客，一個朝雲暮雨的紈絝子弟；自己對杜牧的為人並不真正了解，能否托付終身尚不可預料，便以身相許，不僅顯得自己過於輕率，被人小視，而且也有違“告別世俗，淡泊獨守”的初衷。
在自己不算很長的人生中，已經受了太多磨難，父親的突然喪命，母親的淒慘去世，周圍人的見利忘義，自己七八年的妓女生涯，童貞的喪失，被蹂躪的精神和肉體，在權貴麵前的低聲下氣、忍辱偷生，被罰戍邊的酸甜苦辣……這一切把她的心攪得亂紛紛、鬧哄哄，剪不斷，理還亂。
這期間杜牧曾來信相邀，並表示願意永結百年之好，但薛濤總是不敢輕易相信，更不敢匆忙赴約。
所以如何處理同杜牧的關係，使她很難拿定主意，既不敢輕易相聚，也不敢輕易相離。真可謂進退兩難，就在這種背景下，她含淚寫下《贈遠》詩兩首，寄語杜牧：
芙蓉新落蜀山秋，錦宇開緘到是愁，閨閣不知戎馬事，月高還上望夫樓。
擾弱新蒲葉又齊，春深花落塞前溪，知君未轉秦關騎，月照千門掩袖啼。
詩中以“望夫樓”等典故自況夫妻，表達了對情人的眷戀，又隱約透露出對命運和前景的疑慮、不安，蘊含著難以明言的痛苦、悲傷。杜牧讀後已悟其意，隻得仰天長歎，就此作罷。時間一長，薛濤與杜牧也就斷絕了交往。
◆繁華飄零歸道家
薛濤怎麼也想不到，在四十歲的時候，她居然第一次經曆了愛情的強烈震撼，這震撼是元稹帶來的。元稹這一年三十歲，正值男人的青蔥歲月，建功立業的雄心和拈花惹草的心思並行不悖。
薛濤雖然已脫籍，但曾經豔幟高張，芳名遠播，早已成了蜀地文人墨客的指南，要入蜀，必然要去拜她的“碼頭”。她的交往圈子裏，除了權傾一方的節度使和著名文人外，還有幕府佐僚、貴胄公子和禪師道流等。