貞元十一年（795）五月至九月，韓愈在老家河陽度過了一段清貧而安閑的鄉居生活。但他求仕之心未泯，遂於這年九月離家奔赴一河之隔的洛陽。洛陽是唐王朝的東都，王侯達官如織，顯然是一個便於他從事幹謁活動的理想之地。在洛陽的日子，同樣是落寞的，但不久，天上就掉下了餡餅。
貞元十二年三月，董晉以兵部尚書充東都留守兼東都畿、汝州防禦使來到洛陽。董晉是一位名人，曾與韓愈叔父韓紳卿為同僚，韓愈在長安十年雖未撈到一官半職，但因文章寫得好，名聲大噪，想必董晉亦知其人。所以他一到洛陽，即接納韓愈入幕，這使韓愈大喜過望，一輩子都感激董晉的知遇之恩。同年七月，汴州（今河南省開封市）發生兵亂，朝廷任命董晉檢校尚書右仆射，同中書門下平章事、汴州刺史、宣武節度使及汴、宋、亳、穎等州觀察處置使，急赴汴州，韓愈即隨董晉前往。董晉是個寬厚長者，史稱“柔儒”，他對汴州的亂局沉靜不懼，在“不用兵衛”的情況下進入汴州，很快平息了事態。
韓愈在董晉幕府，最初被辟為節度掌書記。董晉身為宰相而兼汴州刺史，其幕僚多為資深人士，如汝州刺史陸長源，左司郎中楊凝、殿中侍禦史杜倫、孟叔度等，隻有韓愈是個布衣之士。有人譏笑他為“年輩相遼（資曆差距太大）”“愈聞而答曰：‘大蟲（老虎）老鼠，俱為十二相屬，何怪之有！’旬日傳布於長安。”（李肇《國史補》卷上）看來韓愈並不介意此事，他所關注的是要幹工作。節度掌書記隻是董晉給他的頭銜，並非朝廷正式任命，所以工資待遇不高，而又無多少事情可做，這使得他鬱鬱寡歡。貞元十三年七月，韓愈“有負薪之疾，退休與居”（《複誌賦》序）。所謂“負薪”，有兩解：一是賤者之稱，二是士人有病之稱；所謂“退休”，不是我們今天所說的“退休”，而是從官府退下來在家休息。看來是韓愈因病休假，但從其《複誌賦》來看，他是不甘心於屈居幕府，也不滿於朝廷的正式任命遲遲不下達，於是借泡病號來向董晉施壓，其真實意圖是伸手要正式的官職，要幹實實在在的工作。大概是董晉領悟了韓愈的真意，暗中催促，大約在貞元十四年（798）初，朝廷的正式任命下來，任命他為汴州觀察推官，加秘書省校書郎銜，為從九品下的小官。盡管韓愈對這官微祿薄的職務不滿，但他畢竟已正式成為吃皇糧的國家公務員，再加上礙於董晉的麵子，還是在這裏待下去了。一年之後，即貞元十五年二月，董晉突然去世。韓愈因與董晉的特殊關係，親自護送董晉的靈柩到洛陽。董晉一死，汴州又亂，叛軍殺了陸長源等眾多幕僚。韓愈因去洛陽而幸免於難。雖然保住了一條命，但官又丟了，並且與家人離散，吉凶未卜。後得知其家眷在其堂兄韓俞的幫助下抵達了徐州，而韓愈也在經曆了二十多天的驚恐憂患之後，於二月底到達徐州和家人團聚。
韓愈全家逃到徐州，投奔時任徐、泗、濠三州節度使的張建封。張建封曾當過宰相，故韓愈稱其為“張仆射”。張建封是一個“慷慨負氣”、以功名為己任的人物，又有“禮賢下士”的好名聲。韓愈自稱張建封“與吾有故”，是老相識，故來相投。張建封也真夠哥兒們，不但安排他全家居住在睢水北岸，而且給予了相當不錯的物質待遇。韓愈在其詩中對其生活狀況有詳盡描述：“篋中有餘衣，盎中有餘糧。閉門讀書史，清風窗戶涼。”（《此日足可惜一首贈張籍》）“妖姬坐左右，柔指發哀彈。酒肴雖日陳，感激寧為歡？”（《齪齪》）不但衣食有餘，有暇讀書，而且是酒肴日陳，歌姬侍候，日子不可謂不瀟灑。但韓愈不是庸人，不願吃閑飯，他還是要官做，要事情幹的，這“感激寧為歡”一語，即委婉而又明白地亮出了自己的底牌：你給我的優厚的生活待遇，我很感激，但這樣的日子卻不是我所樂意的。以張建封的聰明，不難悟出韓愈是伸手要官做。於是張建封就給了他一個徐州節度推官，加協律郎的職銜，給張建封參謀軍事。
韓愈是個直性子的人，秉性不改，有見輒言，史稱“發言直率，無所畏避”。張建封官高勢大，就不喜歡別人給自己提意見，而韓愈卻就喜歡給他提意見。如張建封要求幕僚嚴苛，規定了“晨入夜歸”的上班時間，韓愈覺得受不了，理直氣壯地和他討價還價；張建封喜歡打馬球，而韓愈則寫信給張建封，大談打馬球之害：“有危墮之憂，有激射之虞，小者傷麵目，大者殘形軀”。不但說打馬球是高危險運動，容易摔倒受傷致殘，而且還不客氣地批評張建封“諫者不休，執事不止”的頑固態度；他對張建封經常擺酒作樂也時有非議。由於韓愈直言無忌，與張建封時有衝突，關係難以協調，再加上他對百無聊賴的幕府生活厭倦，遂起離開徐州之意。其得意弟子兼侄女婿李翱知其在徐州過得不愉快，致信希望他再回長安以謀發展。韓愈認為：徐州雖非“可樂”之地，張建封也非“大相知”之人，但長安更是讓他心靈深受創傷的可畏之地。徐州待不下去，長安又不願去，幾經鬥爭，最終韓愈決定離開徐州，另謀出路。遂於貞元十五年秋天，罷去幕職，舉家離開徐州，西行至洛陽，結束了兩入軍幕、寄人籬下的生活。