江回望見雙華表，知是潯陽西郭門。猶去孤舟三四裏，水煙沙雨欲黃昏。
——《望江州》
十月初旬到江州，有表達他的觀感的律詩：
潯陽欲到思無窮，庾亮樓南湓口東。樹木凋疏山雨後，人家低濕水煙中。菰蔣馬行無力，蘆荻編房臥有風。遙見朱輪來出郭，相迎勞動使君公。
——《初到江州》
白居易自己所說的“流落江湖，幾淪蠻瘴”的生活從此開始了。
白居易的司馬官邸，座落在潯陽城西門外，離湓浦口很近，北臨大江，背靠湓水。庭院的北麵，是一個綿亙不斷，長約數千尺的土岡，岡上竹林青翠，樹木茂盛。宅後有個園子，裏麵也種滿了各種樹木。這裏環境幽靜，景色宜人。他知道這次謫居。時間不會太短，便在公餘之暇，按照自己的喜好重新修葺子整個官舍和庭院。把山櫻桃樹移栽到院子裏，從宅後的園子裏把十八株石榴花移到廳前，又在院內點綴了許多杜鵑花，“亦知官舍非吾宅，且山櫻滿院栽”，一方麵是因為他有愛花的癖好，另一方麵也是借此抒散自己的愁悶。
剛到江州，居易的思想很不穩定，江南的生活，他不習慣，但他努力使自己適應新的環境。慢慢地，他表現出一種超脫和平靜，隻有楊夫人了解他內心的苦悶和失望。
不久，他接到元稹的《敘事寄樂天書》，引起了他對詩歌理論的思考。在這年冬天的一個苦寒之夜，他給元稹寫了一封長達三千二百六十七字的長信，從古代詩歌發展的曆程，結合自己的創作實踐，對詩歌與現實的關係，內容和形式的關係，進行了深入的探討。他認為詩歌的基礎是“事”，即客觀社會現實，所以詩歌應當反映現實生活。第一，他主張“文章合為時而著，歌詩合為事而作”，即一方麵要為現實而作，一方麵要反映現實，並要具有時代精神。這一有名的論斷是前無古人的，為後代詩人指出了明確的現實主義方向。第二，他還論述了內容和形式的關係，提出“根情、苗言、華聲、實意”。如果把詩歌比作一枝花的話，根情、實意是內容，苗言、華聲是形式，二者缺一不可。他暢論詩歌當繼承國風、陳子昂、杜甫的傳統，以揭露民生疾苦為主旨，而不以嘲風雪、弄花草為能事。他把這些在心中考慮了多年，卻因故少暇而未說出來的看法一一訴諸筆端，這就是有名的文藝理論著作《與元九書》。
盡管心情平靜了，但是在受謗遭貶的境遇裏，他也未曾忘記前方的戰局，他時刻牽掛著淮西前線的士卒，更念念不忘淪落在戰區的百姓，唯願早息戰火，百姓得以安居樂業，為他們寫下了一篇又一篇的詩章。當然，在這時，對他來說，最主要的是要忘記現實帶給他的煩惱，全心全意地寄情於山水。
照唐代官製，州司馬是刺史下麵的輔佐之官，實際上無事可幹。白居易自己說過：“若有人畜器貯用，急於兼濟者居之，雖一日不樂。”他本是很有才幹而又“急於兼濟”的人，偏讓他當這種閑官，當然鬱鬱不樂了。但在鬱鬱不樂的歲月中，卻寫了不少好詩，其中最有名的就是《琵琶行》。
按照這首詩中所寫，這一故事的內容是這樣的：
元和十一年的一個秋夜裏，詩人在潯陽江頭和友人話別。在舟中的離別酒筵上，麵對著淒清的秋月，正在傷感，這時忽然聽到鄰舟中傳來彈琵琶的聲音，派人詢問，原來彈琵琶的是一位獨守空船的女子。詩人移船相近，邀她見麵，請她再彈一曲。曲罷，談話中間，知道她曾經是長安的著名歌妓，可是，等她年齡漸大，容減色衰，那些曾經朝暮追求她的公子王孫便都不再上門了，她不得不和一個商人結合在一起，從長安漂泊到江湖之上。現在商人又往浮梁買茶，便把她孤零零地拋棄在江州，她隻得在這兒獨自過著寂寞的生活，彈彈琵琶以寄托她的幽怨的情感。詩人聽了她的自述，對她表示無限的同情，同時聯想起自己過去在京城中的榮華生活，不幸遭遇到權貴們的打擊，被驅逐出京，情景是和這個可憐的女人相類似的。因此興起了“同是天涯淪落人，相逢何必曾相識”的歎息。他們的身世遭遇，同樣體現著深刻的社會內容，詩人概述這個婦女的身世遭遇。
詩人對於這個歌妓的由歡樂而悲涼的身世遭遇不僅同情而已，更主要的是聯係到自己的貶謫生活來做對照。看起來好象比擬不倫，為什麼他自己要和歌妓相提並論呢？不知詩人正想借這個歌妓的形象深刻地揭發出封建社會摧殘婦女的罪惡，同時將自己不幸的遭遇和失意的心情也傾瀉出來，表示抗議。“我從去年辭帝居，謫居臥病潯陽城”一直到“座中泣下誰最多，江州司馬青衫濕”，就是最好的自白。
在江州，白居易愈來愈感到命運的力量是那樣強大，人沒有力量扭轉命運。
他無力擺脫困難的處境，最後隻能歸之於命運。他內心無休止的矛盾和鬥爭慢慢地停歇了下來，既然不能兼濟天下，那就隻好獨善其身了，“安時順命”的情緒控製了他，他不想再掙紮了。到江州後的第二年他在環境優美的廬山營建了草堂，打算終老斯地。他已經四十六歲了，前途茫茫，也許在佛門能得到精神上的解脫，向佛之心愈來愈強烈，他開始在東林寺學禪了。
到江州的第三年，他又添了一個女兒，取名阿羅，夫妻二人甚感安慰。但也是在這一年，他的長兄白幼文去世了，又使他非常傷感。