桓玄受王忱裁抑，在荊州興不起風浪來，便想換換地方。二十三歲那年，朝廷征詔下來，拜太子洗馬。
太子洗馬什麼官啊？不是藍領，是白領。洗馬的典故出自《國語》：“勾踐為夫差先馬，先或作‘洗’也”，後世延續下來皆稱洗馬。“洗馬”即在馬前馳驅之意，就是說我是你的前驅。太子洗馬就是太子的前驅，太子的侍從官。《漢書·百官公卿表》中說，太子太傅、少傅的屬官有洗馬之官。由此可見，太子洗馬官不大。桓玄是公爵，公侯伯子男列第一的，做太子少傅都有資格，卻給一個太子少傅做屬官，足見東晉朝廷對桓家的壓製。
奇怪的是桓玄同意了。在東晉時代，隱士非常受人尊敬，成為提高名聲的一種手段，比如謝安直到四十歲才出仕。桓玄急著出來為什麼呀？一是在荊州待著沒勁，二是想到別處轉轉，增長一下見識。桓玄有野心，不甘心庸庸碌碌地過衣來伸手、飯來張口小公爵的神仙日子，他要像父親桓溫一樣叱吒風雲，直讓天地為之變色。
臨行之前，船泊荻渚，王忱親自去為他送行。《世說新語》載：“王忱服散後已小醉，往看桓玄。”這裏必須解釋一下何為“服散”，對於了解兩晉南北朝風俗有益。
散即五石散，它是用石鍾乳、紫石英、白石英、石硫磺、赤石脂五味石藥合成的一種中藥散劑。此方子最早見於東漢張仲景的《傷寒雜病論》，用於治療傷寒，即古人所講的風邪入侵。
到了晉朝，正始名士何晏因身體虛弱，常服五石散。由於藥性猛烈，何晏改進前人的方子，一服之下，竟神明清朗，體力轉強，於是就大力推廣。京師爭相效仿，成為一種時尚。
流行得這麼快，不光是治傷寒。神明清朗即有毒品的功效，體力轉強那是*，就是偉哥。魏晉時期思想的解放，為社會帶來性解放，士族們放縱官能，縱情歡娛，包括女性對*的追求也主動大膽，服石之風由此大為盛行。有晉一朝，名士多服用此散。
不過藥石大多有毒，服用此藥以後必須以吃冷食來散熱，因此又名寒食散。要寒衣、寒飲、寒食、寒臥，卻要飲溫酒，憑酒勁以發汗，來散發藥性，避免中毒，服散後還要快步走，即所謂行散。
桓玄船中設酒款待，王忱不能飲冷酒，一次次催促說：“取溫酒來！”桓玄突然流涕哽咽，哭了。王忱一看，你怎麼回事，心中不悅，站起身來要走。桓玄以手巾掩淚，說道：“犯我家諱，和你有什麼關係！”
晉人的習俗，當著晚輩的麵，稱呼人家尊長的名諱是極不禮貌的行為，“溫酒”犯了桓溫的名諱，是以桓玄要哭，不過並未因此生氣。王忱歎息道：“靈寶的確曠達。”
來到京都，桓玄去拜見琅琊王，當時正趕上司馬道子喝得酩酊大醉，座上有許多賓客。司馬道子半睜一雙醉眼稀裏糊塗地問身旁的賓客：“桓溫晚年想作賊，怎麼一說？”桓玄聞聽，大吃一驚，伏在地上，汗流浹背，不敢起來。
謝重當時是琅琊王府的長史，聞言舉起笏板答道：“以前宣武公廢黜昏君，輔佐聖明登基。他的功勞超過伊尹和霍光，至於大家的議論，請您公平裁決。”司馬道子喃喃道：“我知，我知。”隨即舉起酒杯說：“桓洗馬，我敬你一杯酒。”桓玄謝罪退出，心不自安，對司馬道子恨得咬牙切齒。