王徽之是“書聖”王羲之的第五個兒子，他生在豪門，從小受家庭環境熏陶，擅長書法和繪畫，頗有藝術氣質。他行為放誕，清高自恃，欣賞托疾避官、蔑視卿相、越禮自放的西漢文學家司馬相如，被認為是六朝時期最狂的名士。《世說新語》津津樂道於他的任情怪誕之舉，記錄了他好幾則精彩傳神的故事。
有一天，王徽之去拜訪雍州刺史郗恢。他來到郗家客廳，郗恢還在臥室裏沒出來，他就在客廳等著，看見地上鋪著一張毛毯，非常漂亮，就自言自語地說：“阿乞（郗恢的小名）從哪兒弄來這麼一件好東西呀？”便叫手下人卷起毛毯，抱著送回自己家去。郗恢從臥室出來，發現客廳的毛毯居然不見了，隻有王徽之玉樹臨風地站在那裏，麵不改色心不跳，一臉平靜地告訴他說：“剛才來了個大力士，扛著毛毯就跑了。”所謂“大力士扛跑了”的說法，卻也不是王徽之首創，而是出自《莊子·大宗師》“藏舟於壑，藏山於澤”，說有個人把船藏在山穀裏，把山藏在大澤中，自以為很牢靠很保險，卻被一個大力士在半夜裏神不知鬼不覺地扛跑了。《莊子》是當時最時髦的“寶典”，引用書中語句說話，更是時髦的行為。郗恢深知王徽之的為人，也欣賞他言辭的機敏，所以對他這種公然上門掠奪、卻又引經據典“嫁禍於人”的行為並不生氣，臉上沒有絲毫不高興的表情。
王徽之的家族是東晉第一豪門，官場的大門是向這個家族的子弟們熱情敞開的。王徽之二十多歲時，開始在大司馬桓溫府中做參軍，經常披頭散發，衣冠不整，根本不把公務放在心上。後來他又在桓溫的弟弟、江州刺史桓衝手下任騎兵參軍，仍是一副吊兒郎當的樣子。
桓衝看他整天無所事事，找個機會問他：“你在我這裏管些什麼事啊？”王徽之回答說：“我也不知道我管什麼事，時常看見有人牽馬來，好像是管馬吧。”桓衝接著問：“你管了多少匹馬呀？”王徽之回答說：“我從來不問馬，哪裏知道馬的數目啊？”“不問馬”出自《論語》，是說有一次孔子家的馬棚著火了，孔子回家得知此事，趕緊問可否有人受傷，卻沒有過問馬的傷亡情況。現在桓衝問他馬的數目，王徽之搬出孔子的“不問馬”，嘻皮笑臉地開起玩笑。桓衝便也接著他的話頭兒，問道：“快要死了的馬有多少匹呀？”王徽之應聲答道：“活著的我都不知道，哪裏知道死的？”——“未知生，焉知死”同樣出自《論語》，子路向孔子詢問人死之後的事情，孔子曾用這句話作為回答。
東晉時期，居官而不理俗務，被視為清高的表現，勤於政務的人，反倒容易被看成“俗士”，王徽之算是把這種風氣發揚到極致了。桓衝哭笑不得，隻好耐著性子勸他：“你在我府中時間也不短了，也該幫我做些事兒了。”王徽之似乎沒聽見，用記事的手板支著下巴，凝望著西邊的天際和翠綠的山嶺，好半天才慢悠悠地冒出一句：“西山的早晨，送來清爽之氣呀……”他大概是要告訴桓衝：在他的心目中，山嵐爽氣，比那些什麼驢馬之類的俗事重要得多。桓衝的哥哥桓溫跟王徽之的父親是朋友，他本人又是天生好脾氣，對這個晚輩也不便責備，隻好由著他去。王徽之似乎也從來沒把桓衝當領導，有一次他跟桓衝外出辦事，中途遇上暴雨，他就跳下馬來，拖泥帶水擠進桓衝的車子，振振有辭地說：“您哪兒能一個人占著這麼一整輛車啊？”
王徽之後來做了黃門侍郎，沒做幾年就棄官東歸，退居山陰。他過去聽說桓伊擅長吹笛子，但是彼此並不認識。他乘船離開都城，在河岸邊泊船，桓伊的車子剛好從岸上經過。有人認識桓伊，就對王徽之說：“車中那個人就是桓伊。”王徽之叫人攔住桓伊的車子，對桓伊說：“聽說你笛子吹得好，請為我吹奏一曲吧。”桓伊地位尊貴，聲名顯赫，他也一向聽說王徽之的大名，所以對這種缺乏禮貌的請求毫不介意，跳下車來，坐在胡床上，一連吹了三曲，吹完後收起笛子，轉身上車就走了。王徽之坐在船頭，仿佛還在回味笛曲的嫋嫋餘音。自始至終，主客二人沒有說過一句話。