城堡山是布達佩斯最早的舊城，它就像一座巨大的博物館，展示了布達佩斯城市發展的曆史和匈牙利民族的過去。
城堡山的地勢險要，它坐落在瀕臨多瑙河岸的一座海拔167米的山岡上。選擇這樣的地方修建城堡，顯然是當年出於戰爭防禦的需要。這座狹長的古城長1500米，最寬處不超過500米。城四周順著山坡高牆壁壘，隻設有3個城門可以通行。這樣的地勢易守難攻。
城堡山始建於13世紀，來自烏拉爾山的馬紮爾族人經過幾百年的遊牧遷移，終於在公元896年定居在匈牙利這塊土地上。最初的王宮本來建在布達佩斯以北險峻的維舍格拉德的高山頂上。韃靼人入侵之亂結束以後，國王貝拉四世於1247年決定在城堡山修建城堡，先後用了幾十年時間才使它初具規模，這就是最早的布達佩斯。
14～15世紀是城堡山的全盛時期，這個當時被稱作“布達”的山城成為全國政治、經濟和文化的中心。1541年土耳其人侵入匈牙利，首都布達落入奧斯曼帝國之手，在外族人鐵蹄之下達145年。在此期間，城堡山年久失修並屢遭火災、地震和戰亂之患。匈牙利獨立後，於18～19世紀重新城堡山，被毀的王宮改為巴羅克式建築。此時的布達已大大地擴展，除城堡山外，山下多瑙河右岸的許多地方也建起了街區。1873年布達與多瑙河左岸的佩斯兩城合並，成為統一的布達佩斯，這時的城堡山僅成為首都一角。
城堡山全城共有4條平行的主要街道，若幹橫向的胡同和岔道又將各主要街道相互貫通。每隔不遠，街角上就有一個或大或小的廣場，這是居民當年自由交易的場所。這樣的街道布局反映了歐洲中世紀古城的特點。
在西門附近，矗立著一幢石基座的五層大樓，那高聳的尖頂顯得格外壯觀。它是當年的市政大廳，即布達城最高行政長官的府第。可以想象在幾百年的歲月裏，這裏曾經戒備森嚴，冠蓋雲集，好不壯觀，隻是今天已經事過境遷，樓前廣場空空蕩蕩，往日的一切盛況都成了過眼煙雲，隻有不遠處的軍事曆史博物館還在默默地陪伴著它。這個博物館原來是個大兵營，現在展示匈牙利在曆史上擁有過的各種兵器，其中還可看到幾門中國清朝的銅炮，想來這該是參加八國聯軍的奧匈帝國軍隊掠回的“戰利品”。
城堡山最有名的景點是馬加什教堂（聖瑪麗亞教堂），它已有700年的曆史。這座哥特式的建築物精美絕倫，簡直是件藝術珍品。教堂牆壁、牆角的造型多變，看上去十分協調雅致。教堂的拱頂尤為壯觀，皆由彩色玻璃鑲嵌而成，拚成美麗的圖案，在陽光下熠熠生輝。教堂兩側高聳若幹尖塔樓，其中最高的一個呈圓柱形。它下半部分的四周布有5層尖拱頂的長窗，往上猶如一段經過雕鏤的象牙塔，再往上陡然變細，好像插在那裏的一把利劍直指青天。
這座教堂建於1255～1269年，在以後的一個世紀中不斷得以完善。1470年，匈牙利太平盛世時代的著名國王馬加什下令將自己的王徽懸掛在這個教堂的南門上，馬加什教堂便因此而得名。在幾個世紀當中，這個教堂內舉行過各種隆重的慶典，包括為國王加冕，國王舉行婚禮和王室慶賀軍隊出征凱旋等。土耳其人占領時期，它曾被改為清真寺，布達光複後又被恢複為天主教堂。它現在的外觀是在1874～1896年那次修繕後固定下來的。當時全國許多傑出的藝術家參與了這次規模宏大的修繕工程。