這一時期，他的詩歌創作卻進入了低穀，由於被貶謫的苦悶及現實生活中的重重哀愁，他隻寫了一些描寫個人身邊生活瑣事的詩篇，流露出悲怨淒苦的情緒。
好在朝廷的局勢又發生了變化，吳元濟伏法，淮西戰亂平定，朝廷威望日重。
裴度、崔群等人入相，崔群和他是老朋友，形勢對他是有利的。
不久，由於崔群等友人的援掖，元和十三年的十二月，居易終於等到了盼望幾年的消息：奉詔除為忠州刺史。貶謫之官得到呈移，而且升了格，就任刺史，使他十分高興。元和十四年二月，他就帶著全家，包括他聰慧可愛的小女兒阿羅離開了江州。
五、忠州刺史
忠州離長安二千二百二十二裏，接近南方邊境，城在長江北岸，居民沿山勢築室而居。街道狹小，人煙稀少，時有虎豹出沒，十分荒涼。
居易在長江逆水行舟往忠州進發時，又久久地思考著自己今後的道路，他感到必須改變自己的處世方法。他太累了，個人的力量也太微弱了，他沒有力量再應付現實生活給予他的打擊，沒有力量再和那些邪惡勢力進行鬥爭，也不想再成為這種鬥爭的犧牲品了。知足保和，隨遇而安，應當是自己今後奉行的人生哲學，當然自己絕不會同流合汙，隨波逐流。這個決定，標誌著他思想的重大改變，雖然與“兼濟天下”是矛盾的，但卻符合“獨善其身”的願望，可以說是他精神上的唯一出路。
雖然沒有了雄心勃勃和嫉惡如仇，代之以心平氣和和潔身自好，但對老百姓的一片愛心並沒有泯滅，他要在自己力所能及的職權範圍內，為百姓做一些好事。
要知道，再過兩年，他就到“知天命”之年了。
在忠州，他決心“下安凋察，上副憂勤”。所謂“下安凋察”就是解除百姓的痛苦。每到深夜，他難以入眠的時候，聽到百姓們齊唱竹枝詞，傾訴他們的苦難，居易就內心不安，為不能替他們解除痛苦而內疚。但有限的個人力量，怎能改變那麼多人的命運呢？他隻能盡自己的力量改革地方吏治，勸農均租，省事寬刑。他還能做的就是：常常周濟一些貧窮的無依無靠的老人，或流離失所的不幸的人們。
在忠州，他發現了城東的一片坡地，把它稱之為東坡。利用公餘之暇，大量栽種花木，又在東澗種了許多柳樹。寫了《步東坡》和《東澗種柳》各一首，以記其事。在離城十裏的山中，有一條名叫玉溪的小溪，源頭有潭，溪旁古木蒼然。
其中有一種木蘭樹，花大如盆，北方無此佳木，居易十分喜愛，請人為之作畫並親為題詩三首記述木蓮之大概。
忠州的荔枝，色香味俱佳，堪稱一絕。居易在州治的西南隅，建造了一座荔枝樓，又稱西樓，也請人畫了荔枝圖，並寫了一篇序，就是有名的《荔枝圖序》。
一年過去了，他在忠州度過了一個無雪的冬天。冬去春回，春暖花開，居易心情漸漸輕鬆，便在刺史府的庭院裏，開了一個“與民同樂”的酒會。當地的蜀兒巴女，紛紛前來赴會。庭院裏放著許多酒壇子，壇子又插著許多藤枝，人們可以隨意吸酒。偌大的院子，人聲嘈雜，鼓聲隆隆，一片歡聲笑語，有人引吭高歌，有人婆娑起舞，亦可與刺史閑話家常。居易的屬吏、幕客也都雜坐百姓之中，官民同樂，居易特寫詩以記其事。
元和十五年正月二十七日，憲宗暴卒於長安大明宮的中和殿。新君繼位，是為穆宗。憲宗在位十五年，誅除群盜，睿智英斷，盡管任用宦官，有時不辨視聽，但仍不失為一個有作為的好皇帝。居易在憲宗朝雖不太得誌，但他畢竟是憲宗提拔起來的，心中感念知遇之恩。現在憲宗暴卒，他很難過，新君如何，誰又能預料呢？他估計自己在忠州至少要呆三年。沒想到，這一年的九月，他就接到除命，拜為尚書司門員外郎，自忠州召回。
居易感到喜出望外，曆時六年的外官生活，終於可以結束了。雖然在忠州隻呆了兩年，要離開它，又感到依依不舍。城東開元寺，他新栽的柳樹還沒有垂條；在東城，他手植的桃李也將及成林。這一切都使他留戀，一切都使他掛牽。他寫詩道：
二年滯留在江城，草樹禽魚盡有情。
何處殷勤重回首，東坡桃李種新成。
他想到他可能永遠不會再到這裏來了，他想到他曾生活過兩年的地方雖然地處荒蠻，卻也四麵春色，特別是蜀巴兒女對他的深情眷戀，使他不忍心驟然棄之而去，每想及此，不禁黯然神傷。但對於除命歸京還是由衷地高興。在作好了一切準備後，他帶著全家人登上官船，沿長江順流而下，穿過白狗峽，路過黃牛峽，來到洞庭湖口，折轉向北，直奔鄂州，入漢水，逆流而上，到了襄陽，棄舟登岸，走上商於大路。來到這裏，他百感交集，六年前貶往江州時的情景都曆曆在目，而他自己已經曆了人生的重大轉折。
六、再到長安
他又回到帝都長安了，朝廷發生了重大的變化。宰相蕭是進士集團的代表，傾向革新，另一宰相雖屬舊官僚集團，但為人開朗正直，所以居易的友人都紛紛重新被啟用入朝為官。元稹遷為祠部郎中、知製誥，錢徽、李宗閔、李紳、李德裕、李絳、崔群、韓愈、楊虞卿、楊汝士、張籍等都改官升遷。居易官階較低，感到不好意思，一度又產生退隱的想法。可是不久，就被授為主客郎中，知製誥。