城南書院原在城南妙高峰，是南宋大儒張栻之父張浚在潭州的居所，建於宋紹興三十一年（1161），張栻和朱熹曾在此講學論道，因而聲名遠揚。當時的城南書院，名為書院，實為私家園林，張浚父子精心營造了“城南十景”。淳熙間，張栻召為吏部員外郎，離開長沙，十景逐漸荒廢。到元代，南阜上的“蒼然觀”改為“高峰寺”，但張浚手書“城南書院”四字匾額仍保留在寺內。明正德二年（1507），湖廣行省參議吳世忠、湖南提學道陳鳳梧曾謀求在妙高峰恢複城南書院，但此地已被吉藩府所據而未果，直到嘉靖四十二年（1563），長沙府推官翟台才在妙高峰寺下建得學堂5間，萬曆中複圮。但城南書院並沒有在人們記憶中消失。
城南書院真正成為諸生肄業之所，是從清乾隆年間楊錫紱任湖南巡撫時開始的。楊錫紱（？－1768），字方來，江西清江人，雍正進士，授廣東肇羅道，親蒞圍基衛田，終任無水患。乾隆十年(1745)至二十年(1755)年間，三任湖南巡撫。二十二年(1757)任漕運總督，屢疏漕運策，多納之。諡勤憨。編有《漕運全書》。清乾隆十年（1740），楊錫紱任湖南巡撫，下車伊始，楊便赴嶽麓書院課試生童，然而前來應試的生童寥寥無幾，問其故，隻因長沙城到嶽麓書院“中隔湘江，稍遇風濤，士子即畏涉不前”。楊決意將嶽麓肄業諸生遷移至湘江東岸的城內就讀，恰巧在都正街尋得都司衙門空署一所，於是將其改建成書院，因該書院在城之南隅，且距妙高峰原城南書院舊址僅二華裏許，故仍稱“城南書院”。此舉極得人心，司、道、守、牧各官都捐出養廉銀，曆一月落成書舍80間，分正誼、生敬、進德、存誠、居業、明道六齋，又仿嶽麓禦書匾懸之講堂，嶽州知府黃凝道捐建禦書樓於書院東南隅，中祀朱熹、張栻及有功書院諸先賢，從此天心閣下一片弦誦之聲。楊錫紱特為之作記勒石，可惜碑石早毀，故錄全文如下:
遷建城南書院記
楊錫紱
宇宙之事功視乎人材，人材之造就在乎學校。書院者，拔學校之尤而切劘淬厲，以收造士之實效，輔學校之不逮也。有宋四大書院，曰：嵩陽、睢陽、鹿洞；其一即楚南之嶽麓，創於宋長沙守朱公洞。至朱、張兩夫子倡道東南，大辟講舍，一時從遊之士至千餘人。其後雖興廢不常，而學士大夫談名勝之遺跡，莫不流連慨慕，想見當年正學昌明。或恨其生之晚，或悵其地之隔。亦可見先賢之澤，流被無窮，而書院之造就人才，其有補於學校非小也。我國家崇儒重道，遠邁前古。世宗憲皇帝特命各省會建立書院，賜以帑金，資以膏火。湖南即因嶽麓書院葺而新之，延師萃徒，以宏教育。中丞虞山蔣公又疏請禦書“道南正脈”扁額，敬謹懸掛。作人雅化，雖《菁莪》、《槭樸》之盛，曷以加茲。
乙醜夏，紱來撫是邦。下車即親赴嶽麓，課試生童。乃肄業諸生，寥寥無幾。詢其故，緣嶽麓離城十餘裏，中隔湘江，春夏水漲彌漫，稍遇風濤，士子即畏涉不前。歸而檢閱誌乘，長沙於宋時尚有城南書院，為張魏國公浚所建。當時，朱張兩夫子講學長沙，或過嶽麓，或止城南，亦以湘江多阻之故。是城南與嶽麓原相表裏，顧久廢為僧舍，不可複問。以朱張兩大儒往來講學之地，存其一而湮其一，固湖湘都會一大缺陷事。且使士子臨流興歎，不得時親前賢之講席，亦虛朝廷造士之本意，豈非守土者所當急謀興複者哉。爰是廣加谘度，得都司空署一所，恰在城南，地勢高爽，遙望嶽麓於幾席，然於改建書院為宜。因偕司道守牧各捐養廉，鳩工庀材，一閱月而落成書舍八十間，恭慕嶽麓禦書扁額懸之講堂。嶽州守黃君凝道又建禦書樓於院之東南隅，中祀朱張兩夫子及有功書院諸先賢，以為諸生朔望行禮之所。仍顏曰“城南”，誌舊也。