在這樣的環境裏工作，李時珍心情很不安定。有時，李時珍悶得慌，便出去走走。他出去時從不坐轎，也從不帶人，換一身衣服，一個人踱出府外。他有時坐著一隻小船，渡到漢陽，去遊覽名勝。有時深人洪山，去觀光遊覽九峰寺。黃鶴樓邊有個觀音閣，更是他常到的地方。
李時珍第一次和觀音閣的老和尚交談，向他打聽本地的物產風俗，和尚對答如流，他就覺得這個老和尚不平凡，以後隻要有空閑時間，便常來到這裏坐坐。和尚知道他是蘄州名醫李時珍，對他也十分敬重。有些知道李時珍的醫道的病人，聽說他常到觀音閣來，便也紛紛趕到這裏來求治。李時珍在武昌的時候，觀音閣竟成了他的義務診所了。
李時珍在王府裏主要是看病，除了給楚王一家看病外，很難被召到宮裏去，因此他也輕易見不到楚王。有時在宮外見上一麵，楚王身邊總少不了有道士跟著，說話也不方便。那修“本草”的事情，李時珍竟沒有機會對楚王提起，他為此感覺非常苦惱。
有一天，楚王府的一位官員來通知李時珍，說楚王和王妃在便殿召見他。李時珍想到，既然王妃一同接見，就不會有道士在身邊。他覺得這是一個好機會，非常高興。
楚王見到李時珍，態度十分傲慢。他對李時珍說：“世子的病自從讓你看了以後，就沒有再犯過，娘娘說你很有能耐，今天要賞你一點東西。”
王妃坐在旁邊，吩咐宮女捧來一盤珠寶，送到李時珍麵前。李時珍說：“治好世子的病，是時珍份內的事情，這珠寶斷不敢領。”
楚王平時送人家東西，隻見人家叩頭稱謝，從來沒有見過像李時珍這樣的竟然不領受，立刻便露出了不高興的神色。李時珍趕快上前一步，說道：“時珍並不是不要王爺的賞賜，眼下正有一個願望請王爺成全，王爺要是答應，時珍比賞什麼東西都感激。”接著，李時珍就把希望楚王向朝廷建議重修“本草”，並讓自己也參加進去工作的事情對楚王說了。
楚王一愣，非常感到詫異，半晌才哈哈地笑了兩聲，對李時珍說，當今皇上要的是仙丹，管什麼“本草”不“本草”，他不能為這種雞毛蒜皮的事，隨便上奏皇上。楚王還勸李時珍不要胡思亂想，既然他不貪圖錢財，答應以後有機會把他保送到太醫院去做官。
李時珍看到楚王拒絕了他的請求，心裏非常失望，後來見楚王又提到太醫院，不覺又有了一個主意。他想，太醫院是主管全國醫務為皇帝服務的機關，對這一類事情應該負責，通過太醫院去向朝廷建議，也是一個辦法。於是，他對楚王說，他很高興能到太醫院去，多謝王爺把他舉薦去。楚王答應以後再商量，不等李時珍再說，就把他打發了出來。
李時珍無可奈何，又在王府裏住了一段時間，他和那些胡說八道的道士一直不合作，王府裏求神打醮的事他也不參加。王府裏的官員大都是些卑鄙的家夥，一向在外麵橫行霸道，李時珍看不慣他們的行為，和他們關係也很冷淡。因此，不但道士們說他的壞話，而且那些官員們也在楚王麵前說他的壞話。
有一次，楚王因為吞服丹藥出了毛病，傳李時珍去診治，李時珍就趁機會把服丹藥的害處，向楚王痛切地說了一番。可是，那個糊塗的楚王卻不認為李時珍說的是好話，反而生他的氣，對他直瞪眼。道士們又在楚王麵前不住地嘀咕，說煉得好好的丹，卻給李時珍這個不信道的人攪黃了，弄得不靈了。楚王聽了道士的話，對李時珍更加不高興了。