諸葛亮深深感歎於蔣琬優雅的氣度和安靜的容止，認為即使是劉巴、馬良也未必具有蔣琬的才學。倘若這個年輕人能得到正確的引導和悉心的教誨，一定可以成為國家的棟梁。眼見東方漸白，諸葛亮不欲長留，他仍然沒有告訴蔣琬他的真實身份，便匆匆辭謝而去。因為他希望能以最尋常的工作來磨練蔣琬平和的性情，在諸葛亮看來，第一等的人物都必須經過了貧寒和不得誌的考驗，才可以見得其美玉真性。
諸葛亮離去後，蔣琬病酒，倒頭便睡，等到午時醒來，隻含含糊糊記得昨夜有客來訪，那位客人舉止從容，冠帶整潔，叫人流連不已；可另一方麵，身居陋室的蔣琬又懷疑這次歡樂的交談僅僅是他的南柯一夢，實際上在小小的書佐院裏，蔣琬並沒有機會接觸到那些有名的人物。像諸葛亮、龐統、趙雲、關羽等人，文卷都有專門的屬吏處理，並不需要蔣琬來謄抄潤色。
蔣琬二十七歲時，以荊州書佐的身份隨劉備入蜀，一路上劉備見他文辭敏捷，又念他跟隨自己多年，答應待入主西川後將給蔣琬一個更高些的官銜。一年後劉備進位漢中王，他沒有忘記自己的允諾，任命蔣琬為廣都長。
蔣琬走馬上任，本以為可以在廣都好好施展平生之所學，及至人至其地，才發現事情沒有他想的那麼如意。原來廣都是個貧瘠和狹小的城市，內中富豪橫行，霸道鄉裏。蔣琬稍一動作，便處處掣肘於人，自上而下層層官員，都指責蔣琬少年衝動，不能理事。蔣琬自覺意氣消散，便又重新淪作“書佐”，除了處理些不得不對付的文章，接送些不得不應酬的公差外，將大多數時間都花在抄寫先秦諸子和兩漢文章上。他最得意的消遣是每月賞賜自己痛醉三回：月初一回，月中一回，月末一回。沒想到就是這難得的放縱，引發了他日後三個月的白衣潦倒。
原來，劉備進位漢中王後，有個習慣是經常會去川中各地微服巡視，以次檢驗各地的官員是否遵紀守法，忠於職守。他月中時達到了廣都，詢問當地百姓：“你們這裏的長官是否稱職？”十位百姓中竟有九位不知廣都長為何人。劉備徑直前往官邸，恰見蔣琬桌上案卷如山，而身為廣都長的蔣琬卻爛醉如泥。劉備見狀大怒，認為一州一縣皆不可等閑視之，此人身荷重責，竟如此玩忽職守，必當重重懲罰，以儆效尤。酒醉中的蔣琬立即被拉上了斷頭台，甚至不必等待過堂審理，即著開刀問斬。
蔣琬醉醺醺地抬頭，見脖子上架著雪亮的鬼頭大刀，一肚子的美酒都化作了冷汗，從身上每個毛孔裏滲透出來。他眼睜睜看著大刀在空中劃過圓弧，準確無誤地落了下來，隻恨造化弄人，白白葬送了他報國安民的經綸。當然蔣琬並未因此斷命，刀口落在了他脖子邊，他伏在刑台上聽見一道新的判詞，著即革去他廣都長之職。
蔣琬僥幸保存下性命，四處打聽恩人為誰，可始終無從得知。原來是諸葛亮急為蔣琬請命，向劉備解釋道：“蔣琬是社稷之名器，並不是治理百裏的人才。寶劍可以安天下，不可以宰雞犬。蔣琬理政，是以安民為本，並不想著要去修飾什麼。請主公多加考察，三思而後行。”劉備一貫敬重諸葛亮，於是僅僅是免去了蔣琬的官銜。
數十年後蔣琬回憶這段經曆，常常笑著說：“我少年時，有個能相麵的老者就告誡我說：你前途遠大，但要當心因酒誤事。倘若你不能及時戒酒，將來一定會有百日之災。可是我一向不信占卜預見之說，直到災難發生，才記起老人的話。待我脫離窮厄之後，想去尋找那位老人，卻再也找不到了。莫非那也是黃石公之流的人物嗎？”
蔣琬被革職的當天，輾轉反側，難以入睡，到夜半好不容易安枕，就做了個怪夢。他夢見他在廣廈之間，有人召喚，急忙起身開門。門一開，卻見門前有個新被斬落的牛頭，牛血滂沱，腥臭難聞。蔣琬驚醒過來，見窗外明月高照，可四周仍仿佛有揮之不去的惡臭味。蔣琬心下很反感這個夢，記得廣都有人善於解夢，便決意待天明時，即前往求解。