當然，對皇帝權力最大的限製，是士大夫官僚群體。自漢朝之後，官僚基本上由儒家士大夫擔任。而儒家士大夫，一向以儒家倫理的闡釋者自居，有修齊治平之誌。為帝王師，是他們生活事業的最高境界。也就是說，他們自以為有引導、規勸君主的使命。反過來，君主一般也以“與士大夫共天下”為信條。接受指導，接受規勸，是一個“明君”的基本形象。就情勢而論，大一統的帝製國家，皇帝必須依靠官僚們來統治天下，如果沒有官僚的協助，他將寸步難行。所以，必須接受官僚體係的製約。
顯然，這三種限製，之所以能成為限製，關鍵是皇帝本身還有所忌憚。擔心自己做了亡國之君，擔心祖宗江山亡於頃刻，也擔心因為自己的行為不當，留下萬世的罵名。如果他像隋煬帝那樣，覺得即使是跟士大夫們比才學，他也該做皇帝，覺得自己無所不能，如果他像秦二世和明熹宗那樣，根本沒有長大，心智停留在兒童狀態，一味貪玩，專心胡鬧，那麼，他在理論上，就可以無法無天了，任何限製，都對他不起作用。人性的弱點，威力巨大。作為君主，就本心而論，他們其實更樂意不受限製，不聽規勸，任著自己的性子來。選擇接班人，是皇權政治的頭等大事。皇帝選擇接班人，按規矩是一回事，論喜好則是另一回事，一種不講道理的胡來。但是，從漢朝開國皇帝漢高祖開始，就喜歡這樣胡來。原本已經按規矩，定下了皇後生的長子劉盈為太子，但他晚年偏愛寵妃戚夫人，非要廢掉劉盈，立戚夫人生的兒子為太子。禦史大夫周昌是個結巴，聞訊隻會結結巴巴地抗議，“期期知其不可”，“期期不奉詔”。但能說會道的儒者叔孫通，則說：“昔者晉獻公以驪姬故廢太子而立奚齊，晉國亂者數十年，為天下笑。秦以不早定扶蘇，胡亥詐立，自使滅祀，此陛下所親見。今太子仁孝，天下皆聞之；呂後與陛下攻（共）苦食啖，豈可背哉！陛下必欲廢嫡而立少，臣願先伏誅，以頸血汙地。”最後打動了劉邦，收回成命，縮了回去，說換太子不過開玩笑而已（“吾特戲耳”）。顯然，如果不是出於害怕亡國的擔憂，秦亡的陰影作祟，即使聰明如漢高祖劉邦，也一樣會任著性子，聽自己喜歡的女人的耳邊風，擅自改動繼承人。而且一幹到底，不管大臣們的勸阻。
所以，我們看到，在整個帝製的曆史上，盡管君主們知道，實話實說對他們的統治有莫大的好處，但他們卻一直在做一種反向的努力，盡力削減人們說真話、說實話的空間。所以，即使在唐朝，也是蘇味道這樣的模棱宰相做得比較長。而李林甫這樣諸事順著皇帝說，事事逢迎皇帝的宰相，幹得也是風生水起。李林甫這樣的人，不僅自己不說實話，也不許別人說，讓諫議之官去學禦馬監的儀仗馬，一聲不響。我們偉大的詩人杜甫，在擔任左拾遺（皇帝身邊的諫議官）時，就因為多了句嘴，丟了烏紗帽。從盛唐到晚唐，皇帝也一直在降低宰相們的官銜，好讓他們沒那麼大的資本，跟自己爭吵。進入宋代，一直在皇帝身邊，坐而論道的宰相們，忽然之間，就沒有了座位。有種說法，是宋太祖做皇帝的時候，前朝降臣範質為相，欲有文字進呈，宋太祖說：“我看不清，你走近點。”偷偷令宦官把範質的座位撤了，從此，宰相上朝無座。也有材料說，其實就是因為範質故意諂媚，自己不要座位，開了一個惡例。近世著名文史學者陳登原先生認為，宰相沒有座位，就是“由於範質之逢迎”。但是，這樣的逢迎，跟皇帝的喜好，有著密切的關係。作為範質這樣的宰相，不敢在皇帝麵前有座位，其實是出於皇權的無形壓力。
到了明代，一身流氓氣的開國皇帝，把宰相也給廢了。而且開創了帝製國家特務政治的先例，設立錦衣衛、東西廠，走法外的軌道，口銜天憲，隨意迫害群臣。禦史台（明代叫都察院）裏再也沒有了專門給皇帝提意見的諫議官，禦史隻對下，不對上。而繼承明製的清代，自負的皇帝，連士大夫修齊治平的權利都給剝奪了。在他們看來，治國平天下，是皇帝的職責，跟士大夫有什麼相幹。士大夫以天下為己任，就是跟皇帝爭天下。甚至，傳統的士大夫對儒家經典的解釋權，也被皇帝收去。乾隆皇帝解經，被拍馬屁的臣子奉為經典之上的經典。後來的臣子讀經，隻能按皇帝意思來，越軌，就是離經叛道。為了讓士大夫們徹底閉嘴，清代的文字獄，一個接一個，在動輒獲咎的情況下，士大夫們隻好去做樸學，埋頭考據。在這種根本不讓人說話的政治氣氛裏，乾、嘉、道三朝元老曹振鏞的名言，多磕頭少說話，成為清代臣子們必須遵行的準則。很多臣子，把磕頭當成了健身體操，每日練習。在清朝，磕頭甚至是一門功課，一門技術，需要前輩來傳授的。所以，做臣子的，大道理是絕對不能講了，要講，也得皇帝自己講。即使皇帝垂詢，臣子們也隻能就皇帝的意思，說一點技術性的話。皇帝要求臣子的，隻是做事。別妄想做大臣，隻能做奴才。甚至到了晚清，大清江山都需要靠在野的士大夫練鄉團來拯救了，在西太後的評價體係裏，能做事，還是對臣子的最好褒獎。