天寶十四年二月初九日（公元七五五年），安祿山在範陽叛唐造反。當他所最忌憚的奸相李林甫於三年前死去時，即已暗蓄反唐之心，後來他所最看不起的楊國忠繼任宰相，國事更趨混亂，同時又被國忠排擠，他就憤而起兵發難，且以肅清君側為名，矛頭直指長安。由於唐室經過了長時期－的靖平，武事荒廢已久，而朝廷突然用兵，人心驚惶失措，遂使懦弱之兵，難敵如狼似虎的胡人，各地官兵，在倉猝應戰之下，有的紛紛敗潰，有的集體投降，真所謂兵敗如山倒，北方地區大部淪陷。不久，戰禍漸漸逼近竟陵，無數的秦中難民擁擠地由漢水流域向南奔逃。
陸羽見到局勢危急，謠言亂傳，人心恐惶至於極點，知道東崗已非托身的幽棲之地，女口何再在草廬安心著述？可是天地茫茫，何處才是安樂窩呢？
經過深思熟慮後，他決定要到江南避難，因為長江天險，很難渡越，必可阻遏胡兵的侵襲。
他想到自己也是難民的棄兒，所以對於許多難民衣衫襤褸，攜老扶幼，挑擔負包，狼狽不堪的情形，格外同情。於是他在路旁亭畔，搭起帳篷，疊石成爐，烹煮茶湯，以解逃難群眾的口渴，以及祛除他們身心的寒氣。
陸羽孑然一身，雖已決定流亡江南，但也不能說走就走，他收拾行裝、書籍、茶記等物，包紮成捆，直到次年新春（公元七五六年），局勢越來越緊，由北逃南的難民也愈來愈多，才騎驢牽牛，加人群眾的隊伍裏，對著才居數月的東崗草廬看了最後一眼之後，立即匆忙地起程。
白驢四蹄疾走，烏犁牛也是健行的動物，又能負重，所以不久，陸羽已漸漸把難民的隊伍拋在身後。他經過漢川、江夏到了漢口鎮，就取道直趨黃梅地界。
陸羽從竟陵出發，到達黃梅，路程說長不長，說短也不短，時間已過了多日，中途跋涉山水多處，但若與上次險惡的蜀道比較，則這次所經曆的旅程，對陸羽來講，也算不了什麼困難。不過，在風雨交作的時候，路滑泥濘，山徑崎嶇，嶺坡峻險，驢牛往往失蹄，他雖小心趕路，但進度緩慢。有時牲口的四蹄陷泥濘深處，犁牛未能自拔，且動彈不得，他也顧不得泥潭汙濁，隻好跨下坐騎，把行李書籍等物卸下牛背，搬到妥處，以減輕它的負荷，又盡力拉牛，助它脫離險地，然後再將卸下之物一一重新載上，才能繼續旅程。在中途若遇氣候轉劣，大雪飄飛，他必須在白銀世界裏擇路而行，倘逢大道小徑層冰滿地，路滑難行之時，驢牛踟躇不前，他就下騎步行，戰戰兢兢，以蝸牛式的行動走向前程。
陸羽冒著風雨冰雪的侵襲，踽踽獨行於長途旅程，吃的是幹糧，飲的是冷水，宿處若非寺觀，便是在涼亭旁邊，搭起帳幕，暫度一宵。那時，正是冬末春初的季節，氣候甚冷，沿途木枯草黃，他還在冰天雪地的曠野上，找尋耐冬的蔓草木葉，讓牲口充饑吃飽。在這種艱難困苦的環境裏，他與驢牛相依為命，並不把它們當做畜牲，卻視之如朋友一樣，往往用手輕撫驢牛的頸部，愛撫一番，不料驢牛似乎有靈性，仿佛知道主人的厚意，竟在這時忽然長鳴幾聲，四蹄跳躍起來，好像是表示感謝主恩似的，這使陸羽非常高興，也算他在寂寞而寒冷的旅途上得到了溫暖的安慰。
陸羽既已到了黃梅縣，少不得要拜謁佛教聖地五祖寺，因為他作為俗家弟子自幼與僧為伍，雖不願削發為僧，但每逢好山名寺，心裏自然產生好感。他先在雙峰山一帶考察，但見滿地蒼鬆翠柏，到處梅花成林，冷香撲鼻，幽靜非凡。在山穀裏，他發現野茶數株，新芽未抽，枝上積雪已消，它們受到鬆柏高枝的濃蔭所掩護，故能耐寒地保持著枝葉的常青而不枯不凋。他觀察良久，欣然下騎，步行踏雪上山，訪問了該寺的住持，又茶聚了一會，略談佛教高僧五祖和六祖的事跡。
這時，陸羽得悉江州即在隔岸，而廬山也可在本山遠望，隱約可見，於是他就辭別方丈，下山起程，傍晚安抵過江的渡口。
江岸人聲嘈雜，形影擁簇，原來是多批難民陸續到達。忽然陸羽聽到那邊群眾中傳來號啕大哭之聲，連忙急步走去，越眾而前，看到二具屍體，一老一少，縱橫僵臥地上，死去不久，旁哭數人，諒必是死者的家屬。
陸羽淒然長歎，心想道：“二屍衣衫單薄，麵黃肌瘦，必是為饑寒交迫又不堪顛沛流離，長途跋涉之苦，以致骨力不繼，猝然病亡，甚可悲也。他們本欲避禍求生，投奔異鄉，而反速其死。人生到此，天道寧論，嗚呼哀哉！”
他觸景生情，悲不自勝，但欲哭無淚，隻得搖頭，連連歎氣，隨即回轉身去，離開現場，一邊吟道：
“欲悲天失綱，胡塵蔽上蒼，欲悲地失常，烽煙縱虎狼。
欲悲民失所，被驅若犬羊。悲盈五湖山失色，夢魂和淚繞西江。”
這就是陸羽的四悲詩。
陸羽渡過滾滾長江，到了江州（今九江），首先安排宿處。這裏，閻閭櫛比，人煙稠密，四方貨物雲集，商號買賣興隆，街擁酒樓，市多茶館，行人往來，秩序井然，不但毫無戰禍隱憂的痕跡，而且尚有太平盛世的景氣，畢竟江南風光與北方大不相同。
在江州，陸羽逗留了一段時期，那是由於他千裏迢迢匆忙趕路，不免辛苦，又受到風寒侵襲，忽覺四肢無力，身體違和，患病一月有餘，經醫診治之後，才漸漸複原。這是他平生第一次生病。