根據文獻記載，南越國共傳五主93年，第一代王趙佗在位長達67年之久。第二代王趙胡是趙佗之孫，在位十餘年病死，葬於象崗，其陵墓已經發掘。第三代王趙嬰齊是趙胡之子，在位隻有八九年。第四代王是趙嬰齊之子趙興，即位不久便被丞相呂嘉所殺，最後的亡國之主趙建德在位不久也死去。若把南越國第四、第五主在位時間合起來，前後也隻不過僅三年多，從兩人死亡的結局看，生前和死後不可能建造起與前輩匹敵或與自己身份相符的大型陵墓。而有精力和財力建造大型陵墓的，隻有前三主，現在第二主趙胡的陵墓已被發掘，那麼整個南越國五主中就隻有一主趙佗和三主趙嬰齊的陵墓尚未找到。
南越國宮署遺址出土的“萬歲”瓦當的文字結構變化多姿
關於三主趙嬰齊的陵墓，文獻中已有三國時被吳主孫權派兵盜掘的記載。與這個記載有些關聯的還有，1983年5月，也就是在象崗大墓發現之前的一個多月，廣州市考古隊在西村車輛段宿舍工地曾清理了一座漢代大型木槨墓。墓坑長13米，寬6米，全部以河沙填實，這座墓堪稱廣州所見的漢代規模最大的一座木槨墓，遺憾的是墓室早已被盜。在發掘中，考古人員於盜洞內發現了玉舞人、玉璧、玉璜、玉劍飾等精美玉器若幹件。當象崗古墓發掘後，將出土文物與之對比，發現木槨墓遺落的器物，不論是玉質還是雕琢工藝，都不在象崗古墓出土器物之下。據此推斷，木槨墓的這些器物當是盜墓者在慌忙之中遺落的。過去廣州也曾發掘過一些漢代大墓，但從未出土過如此精美的玉佩飾，這表明墓主有較高的身份。另外，從墓中出土的玉劍飾推斷，墓主應為男性。根據以上種種跡象，考古人員推斷此墓可能就是文獻中記載的南越國第三主趙嬰齊的陵墓。
如果考古人員對木槨墓的推斷屬實的話，那麼在南越五主中，就隻剩一主趙佗的陵墓沒有找到。趙佗在位67年，且是南越國的鼎盛時期，他的陵墓一定比象崗趙胡的陵墓規格更高，內中的隨葬品也一定更加華麗和壯觀。那麼，趙佗的陵墓到底密藏在何處？這成為嶺南考古中一個最大的謎團。為解開這個謎團，廣州市考古人員在發掘象崗趙胡大墓之後，經過查閱有關地方史籍和整理考古資料，終於得出了一些較為合理的推論，從而為尋找趙佗墓的秘所提供了新的線索。
據晉代裴淵《廣州記》雲：“（番禺）城北有尉佗墓，墓後有大崗，謂之馬鞍崗。秦時，占氣者言南方有天子氣，始皇發民鑿破山岡，地中出血，今鑿處猶存，以狀取目，故崗受厥稱焉。”《蕃禺縣誌》卷52雜記雲：“城北五裏馬鞍崗，秦時常有紫雲黃氣之異，占者以為天子氣，始皇遣人衣繡衣，鑿破此崗，其後卒有尉佗稱製之事。”據此分析，馬鞍崗在今廣州越秀山與象崗相連凹處。
北魏酈道元《水經注》引王氏《交廣春秋》雲：“越王趙佗，生有奉製藩之節，死有秘異神秘之墓。佗之葬也，因山為墳，其壟塋可謂奢大，葬積珍玩……佗雖奢僭，慎終其身，乃令後人不知其處。”此記載沒有明確指出趙佗的陵墓何在，卻由此可知，趙佗在生前就為其陵墓做了十分縝密的安排，因山為墳，地麵不留痕跡，十分神秘。
唐代李吉甫《元和郡縣圖誌》記載：“禺山在縣西南一裏，尉佗葬於此。”禺山在何處，這是廣州古史上仍在爭論不休的一個問題。
《蕃禺雜誌》載：“佗死，營墓數處，及葬喪車從四門出，故不知墓之所在。惟葛蒲漳側，古馬知上有雲：‘山掩何年墓，川流幾代人。遠同金驃裹，近似石麒麟。''''時莫解之，但疑其墓不遠。蔡如鬆雲：‘舊說即悟性寺也。''''今蒲澗之南，枯塚數千，人猶謂越王疑塚。”葛蒲澗在廣州白雲山，此記載把趙佗陵墓說成在白雲山上。
清初屈大均《廣東新語》記載：“南越王趙佗，相傳葬廣州禺山，自雞籠崗北至天井，連山接嶺，皆稱佗墓。”
清梁廷枏《南越五主傳》雲，趙佗死“葬都城東北，南自雞籠崗，北至天井，連崗接嶺，葬時多為疑塚。喪車從四門出，棺棚無定處，當時人莫知所在。孫胡嗣立，私上諡曰武帝”。此記載與《廣東新語》基本相同，隻講出趙佗墓的一個大致範圍。
在廣東民間故事傳說中，唐朝貞元時期，有一個姓崔的人居南海，一次不小心跌入鮑姑井，這裏竟通趙佗的陵墓。崔某從陵墓中拿了一顆寶珠，給波斯商人。此波斯商攜珠返國時，珠落於廣州大江，變為大石，珠江由此得名。此傳說雖然神異荒誕不可信，但有一點值得我們注意，那就是鮑姑井本在越秀山的三遠宮，編此傳說的人可能認為趙佗陵墓在越秀山上。