采石磯亭建築大都跟大詩人李白相關，如同輔佐著主體名勝建築太白樓。其中的一座亭，由李白的懷古作品，引出了晉代的另一位大賢，即大將軍謝尚。此亭便命名為懷謝亭。
謝尚，東晉時期一位武將，鎮守牛渚要衝，即現在的采石磯，被稱為“鎮西將軍”。這是一位儒雅風流的將軍，愛好文史，賞識賢才。有一年秋天，他乘夜色泛舟遊江，聽到附近一條船上有人吟詠，深沉的音調，超逸的語詞，強烈吸引了他。他派人察看，並邀請詠詩的人過船交談。他沒有想到，詠詩的人名叫衰宏，本是租來船上的一個幫工。他出身貧寒，但刻苦攻讀，熟諳經史，文才出眾。謝將軍與袁宏促膝談心直到天明。謝尚極賞識袁宏，把他召到府中，後來又薦他到桓溫大司馬府任記室、掌書記。袁宏有了良好條件，施展才華，撰寫出曆史著作《後漢紀》，創作了《竹林名士傳》、《三國名臣賦》等佳作，成為著名史學家、文學家。以後，謝尚識袁宏這個識才、惜才並薦才的故事成為千古美談。
四百年後，大詩人李白來遊當塗，也到牛渚月夜泛舟，想到古賢佳話，不禁悠然神往，詩興勃然，詠出了一首著名的詩篇《夜泊牛渚懷古》：
牛渚西江夜，青天無片雲。
登舟望秋月，空憶謝將軍。
餘亦能高詠，斯人不可聞。
明朝掛帆席，楓葉落紛紛。
這首詩的題目下邊，原來有詩人作的注，寫道“此地即謝尚聞袁宏詠史處”。在古人識賢薦才的舊地，由望而憶，觸發聯想，傷懷自己的身世遭遇。盡管自己富於才華，能同袁宏一樣“高詠”，無奈“斯人不可聞”，謝將軍那樣胸襟豁達的人物卻遇不到了。這是多麼叫人感到寂寞淒清，不由發出慨歎的事！這首詩自然清朗而意蘊深遠。大詩人的懷古也就是“憶謝”，其中蘊涵著極為豐富、深刻，令人永久回味不盡的理趣，其現實意義也不可低估。
正由於這層緣故，今人在已經有了不少古亭名亭的牛渚——采石磯又建造了這樣一座懷謝亭。這裏用李白當年“懷古”即懷謝的典故，同時兼有了懷念大詩人李白的雙重意蘊。懷謝亭為雙重簷樓閣式，遠望去它好像振翅欲飛；椽梁構架形式雖為仿古，卻帶有顯著的現代氣息。我們的時代人才輩出，有才者大有用武之地。但是，社會飛速發展，新的事業需要大量的各種各樣的優秀人才，人們有理由企望、呼喚多一些再多一些如謝尚將軍那樣求才若渴，舉才不遺餘力的賢人。