早在夏朝時就設有三公九卿。如《禮記》中記載：“夏後氏官百，天子有三公、九卿、二十七大夫、八十一元士。”不過，曆代對於三公九卿具體指代哪些官職存在很大的爭議。
一般來說，將最尊貴的三個官職合稱為三公。《尚書大傳》《禮記》等書以司馬、司徒、司空為三公，《周禮》則以太傅、太師、太保為三公。到秦代並沒有設立三公，但置左右丞相，又設太尉管理軍事、禦史大夫為丞相副手。自漢武帝起，因受經學影響，丞相、禦史大夫和太尉也被稱為三公。
九卿，一般為列卿或眾卿的意思，並不是指代官職，也不一定是九個人。漢武帝以後由於受儒家思想的影響，人們就將一些高官附會成古代九卿。如《續漢書》將太常、光祿勳、衛尉、太仆、廷尉、大鴻臚、宗正、大司農、少府定為九卿；隋唐九卿則為太常、光祿、衛尉、宗正、太仆、大理、鴻臚、司農、太府。這時的九卿多為虛銜或加官、贈官，並沒有實際的權力。