教堂裏還有著丹麥最古老的名貴管風琴等藝術珍品；其中的一架製於1610年的考姆伯鈕斯管風琴，於1617年被安裝在城堡教堂內，它有1001根木質風管，這架管風琴到現在仍可彈奏。
城堡後麵是一片山丘斜坡，山下的幾何型巴洛克花園有著英國和法國混合的風格，修剪整齊的樹叢、草坪、三角錐形的樹林，有英國園林的渾然天成及法式花園的規矩，呈現出完全對稱的均衡之美，原本是佛德利克四世在位時邀請藝術名師Johan Krieger興建而成，在1859年被大火破壞之後，一直到1996年哥本哈根為慶祝名列歐洲文化城，才最後整修完工的。
作為丹麥國王的行宮，佛德利克堡在丹麥眾多古堡中占有顯赫的地位。每位國王均在這裏舉行登基加冕和進行重要的宗教儀式活動。丹麥曆史上幾次重大事件也都發生在堡內。1721年，北歐大戰（1700—1721年）結束後，丹瑞兩國在此簽署了著名的《佛德利克堡和約》，從而結束了幾個世紀以來丹麥和瑞典之間的敵對狀態。
《佛德利克堡和約》簽署之後不久，丹麥國王克裏斯欽六世在距佛德利克堡幾英裏外的地方，建造了一座新的行宮——和平宮。而將佛德利克堡辟為博物館。1812年，當時的國王佛德利克六世從收藏家那裏得到了一大批油畫，並把它們存放在宮內的藝術畫廊內。以後，油畫逐年增加。
1859年，城堡突然失火，大火幾乎焚毀了內宮所有建築，三分之二的油畫被付之一炬，燒毀了宮內的大部分家具，宮頂和尖塔全部被毀，僅教堂幸免於難。如今，館內重新收藏大量珍貴文物和表現丹麥曆史重大事件的油畫、著名人物肖像。大部分展品是在征集文物、重建佛德利克堡運動中收集的。其中相當部分為當今聞名世界的嘉士伯啤酒公司的創始人——J.C．雅各布森捐獻。
1876年，熱心於文化事業的嘉士伯啤酒公司創始人雅各布森為修複菲宮捐贈了全部修繕費，並提出把佛德利克堡辟為丹麥國家曆史博物館。他的建議得到采納。在修複過程中，騎士大廳等重要廳堂恢複了原貌，其他的房間則根據博物館的需要進行了修建。
1878年，丹麥國王正式發布命令，宣布將佛德利克堡改為國家曆史博物館。雅各布森聘請的一些著名油畫家為博物館繪製了以丹麥曆史為題材的油畫。目前，該博物館收藏了丹麥16世紀以來曆代著名畫家的作品，其中還包括大量著名人物的肖像畫。博物館每年的費用開支都由嘉士伯集團提供。
1882年，佛德利克堡始向公眾開放。大量珍貴的展品形象地向人們展示出丹麥王國悠久的曆史和文化傳統，每年均吸引大批慕名而至的觀眾和外國遊客來參觀遊覽。1995年丹麥王子的結婚典禮在這裏舉行。