金城湯池是中國的一句成語，形容防守堅固、不易攻破的城池。把這句成語用在平遙古城上，一點也不過分。
中國古代發生過無數次戰爭，戰爭雙方使用的都是刀、槍、劍、戟（jǐ）、斧、鉞（yuè）、鉤、叉和長矛、盾牌、箭矢、鐵甲、戰車之類的冷兵器。戰爭的直接目的多在攻城略地。因而城池總是兵家首當其衝的必爭之所，城牆也就成了不可或缺的軍事防禦設施。凡都、府、州、縣的官署所在，必定會修築這種被稱之為“城”的高牆，把整座城池嚴嚴實實地圍合起來。不僅如此，修築城牆的同時，還要在城牆外圍四周，挖出既廣又深的溝壑，引水成池，繞城為河，造成高牆深壑、壁壘森嚴之勢。很多地方，即使堡、寨達不到城的級別，古人也照樣比照古城的做法，築起這樣的城垣或高牆。
實際上最初的城牆就是叫做城垣，用分層夯（hāng）實的黃土版築而成，隻不過在牆體的外麵並沒有包砌城磚。那個年代距今實在過於渺遠。現在人們司空見慣的中國古城牆基本上都是以土築城，在城垣的外側包上了一層磚牆。這也是為什麼習慣上總是把城垣叫做城牆的緣故。雖然城垣包磚的做法早在漢代已經不乏先例，但是舉國上下大規模采用包磚的做法，卻是元末明初的事。這當然與那個特殊曆史年代的政治軍事需要密切相關。
從元世祖忽必烈定都燕京，到朱元璋建立大明王朝，蒙古貴族維持了不足百年的統治。明朝立國之初，元朝最後一個皇帝，即元順帝率部有序撤到塞外，然而大將廓帖木兒還雄踞在山西。當時國內矛盾依然嚴重，北方又是邊患不止，嚴重危及到朱明新生政權。這就是明太祖朱元璋為什麼竭力推行“高築牆、廣積糧”防衛政策的直接原因。於是各地府、州、縣紛紛增擴城垣，修建磚築城牆。後來隨著國力強盛和製磚生產能力提高，建造磚築城牆風靡全國，形成了中國築城史上一次具有劃時代意義的高潮。平遙明城牆也正是在這一時期進行大規模擴建的產物。
平遙古城在明代以前規模並不大。據縣誌記載，夯土城垣周長不過“九裏十有八步”。到了明洪武三年，也就是公元1370年，經大規模擴建後的城牆周長增加到十二裏，高度達三丈二尺。用今天的標準度量，周長相當於6公裏，高度10米以上。這次大規模擴建，完全迫於軍事的需要。在蒙元統治近百年間，山西一直被視為蒙古貴族的大本營。元朝滅亡後，不僅元順帝殘餘勢力伺機反撲，而且山西境內的一些地主武裝也對朱明王朝構成了巨大威脅。為了鞏固政權，穩定局勢，明王朝以太原府為中心，在山西境內修築了大量的城池、城堡和營寨。平遙縣距太原府不到二百裏，東有太行，西有呂梁，兩大山脈夾峙其間，成為連接幽燕各州與古都長安的南北孔道和通衢咽喉，自古以來就是戰略要地，明代以前也曾幾次遭到洗劫襲擾，加之明初戰事緊張，擴建和加固城垣迫在眉睫。
這次經過擴建後修築的城牆，在工程技術上做了很大改進，主要是采取了多種方法進行加筋強固。以往土築城垣通常單純采用素土夯實。重新夯築牆基和牆體時，則改為自下而上每隔一定距離，就沿著城牆四周擺放一層木栓。木栓長度比城牆的寬度稍長，通過在素土中加筋的做法，有效地加強了城牆的整體性。並且在夯築城垣時把夯土層的厚度減少，增強夯土層的密實性。牆基寬度也大大超過了同一時期大多數州和縣的牆基，加大到了8—12米，就連城牆頂部最狹窄的地段，寬度也不少於3米，寬的地方甚至竟達6米多，幾乎可以和有些州城、縣城的牆基的寬度相比。
平遙古城和所有古城一樣，圍繞著城牆四周，在土築城垣外側全部使用了青磚包砌。這是一種專門用來修築城牆的城磚，長度、寬度和厚度的尺寸都要比其他建築的青磚大得多。城牆的基礎采用條石，築起高出自然地麵的台級，外緣再用青磚砌築散水，防止牆基長期被水浸泡引起下沉。