國際奧委會還設有技術委員會、新聞委員會和運動員委員會等20多個機構；中國著名體操選手李寧現在仍是運動員委員會的委員。
按照顧拜旦製定的選舉章程，國際奧委會主席由全體奧委會委員以無記名投票的方式選出，任期8年，可以連選連任。從1894年到現在，曾經有7人擔任過主席職務。
第一位主席是希臘的教育家和作家德米突斯·維克拉斯。1894年他代表希臘參加巴黎會議，在會上他努力說服各國代表和委員，使原定在巴黎舉行的第一屆奧運會改在雅典舉行，他的這個貢獻是他當選為主席的重要原因。
第一屆奧運會後，維克拉斯辭去了主席職務。致力於希臘的教育事業和文學創作。
接替維克拉斯職務的是法國的教育家顧拜旦。從1896年到1925年，他出任國際奧委會第二位主席，對於奧林匹克運動的複興，顧拜旦做出了不可磨滅的卓越貢獻。可以說他是現代奧運會的創始人。
1892年，顧拜旦在一次慶祝集會上發表了著名的“複興奧林匹克”演說，兩年以後他又組織召開了奧林匹克委員會巴黎會議，會上決定成立奧林匹克委員會，他親自製定了第一部奧林匹克憲章，設計了國際奧委會會旗和會徽，起草了運動員誓詞。顧拜旦擔任了近30年的國際奧委會主席，1925年卸任並成為終身名譽主席。
第三位主席是比利時人亨利·拉圖爾。他曾經是國際奧委會委員，第一次世界大戰以後，他積極爭取使比利時成為第七屆奧運會主辦國。在隻有一年準備時間的情況下，拉圖爾承擔起全部責任，花了大量心血，終於獲得成功。表現了卓越的組織才能。
拉圖爾任職期間，努力使體育比賽達到盡善盡美的崇高境界，使奧林匹克精神得到發揚。
1942年，拉圖爾逝世。當時國際奧委會副主席，瑞典體育活動家吉·西格弗裏德·埃德斯托姆先生繼任主席。
埃德斯托姆先生是世界體壇的一位著名人物。年輕的時候曾經是短跑高手，經常代表瑞典參加田徑比賽。1912年在瑞典斯德哥爾摩舉行奧運會，埃德斯托姆是組織者之一。
1932年洛杉磯奧運會，他是瑞典代表團團長。
國際業餘田徑聯合會於1912年在斯德哥爾摩成立，埃德斯托姆當選為第一任主席。1920年，他被選為國際奧委會委員，一年之後當選為國際奧委會執行委員會委員和副主席。
第二次世界大戰期間，不少國家之間關係緊張，情緒敵對。埃德斯托姆的國家瑞典是中立國，因此，他利用這個特殊地位與各國奧委會的委員保持聯係，從中斡旋。1945年，他主持召開了戰後第一次國際奧委會執委會，會上批準英國為第14屆奧運會主辦國。1952年他以82歲高齡宣布退休。為了表彰他對國際奧委會所做的貢獻，後來他被推舉為國際奧委會名譽主席。
1952年到1972年，由美國人埃佛瑞·布倫戴奇擔任第五位主席。布倫戴奇原是一位建築家，以他名字命名的建築公司在芝加哥周圍蓋過許多摩天大樓。在年輕的時候他也是一位體育人才，曾參加過第五屆奧運會比賽，三次奪得過美國業餘十項全能比賽的冠軍。當他退出賽場以後，即對組織和管理體育賽事發生了濃厚的興趣。布倫戴奇曾擔任美國奧委會主席達25年，還連任七屆美國業餘田徑聯合會主席。
1936年，他當選為國際奧委會委員，1945年當選為國際奧委會副主席。他積極提倡業餘運動的發展，並且寫了大量有關奧運會的文章。
國際奧委會第六位主席是英國人洛德·基拉寧。他畢業於英國著名的劍橋大學，在學校曾經是一名出色的運動員，經常參加劃船、賽馬等比賽。大學畢業以後，他當了一名記者。基拉寧還是一位電影製片人，德國影片“沉默的人”就是由他擔任影片顧問的。
在他任職期間，曾經來中國訪問，對恢複中國奧委會在國際奧委會的合法席位作了有益工作，1980年基拉寧離任。
第七位主席也是現任主席就是西班牙人薩馬蘭奇。他是一位實業家，在政界也曾擔任要職。一次他率領西班牙冰球隊參加世界比賽並奪取世界冠軍，從此與體育結緣。薩馬蘭奇先生曾經擔任國際奧委會委員、執委和副主席。1977年，他離開國際奧委會出任西班牙駐蘇聯大使，1978年重返國際奧委會。從1980年他擔任國際奧委會主席開始，就努力將奧林匹克運動引向一個新的發展方向。他不畏艱難到世界各地訪問遊說，與各國領導人和體育界高級人士進行廣泛接觸，以此來維護和發展奧林匹克精神。
薩馬蘭奇先生有著廣泛的業餘愛好，喜歡欣賞繪畫和體育集郵，他還非常提倡體育競技和文化藝術相結合，使體育向著更高的文化層次發展。