若認為觀人術是在不斷進步的話，那麼舜的觀色取人要勝過堯的觀狀取人了。《說文解字》解釋道：“顏，就是指眉目之間的地方。”“色，就是眉目之間的氣色。”以前郗雍能辨別出盜賊，觀察他的眉目之間就可知隱藏的情形，晉國國君讓他觀察成百上千的盜賊而無一差錯。《韓詩外傳》也有這樣的記載，“若有溫順善良之意在心中，可通過眉目之間看見，若心中有邪惡汙穢之意，而眉目也不能掩蓋住。”這是顏色說的來源，然而顏色是整個麵部的總稱，眉目之間的地方隻是其中特別重要顯著的地方罷了！觀色相人法最精辟的論述在《大戴禮記·文王官人篇》中，其議論如下：“歡喜的顏色是油然而生，憤怒的顏色是怫然而生，有欲望的顏色是嘔然而生，恐懼的顏色是薄然出現，憂愁悲痛的顏色是壘然而靜。真正智能之士的顏色必然難以窮盡，真正仁德之士的顏色必然受人尊敬，真正勇敢之士的顏色必然難以震懾威赫，真正忠心之士的顏色必然可親可敬，真正廉潔之士必然有難以汙染的顏色，真正寧靜之士必然有可以信賴的顏色。本質純正的顏色明朗皓白，安定鎮靜，本質欺偽的顏色煩亂不堪，使人厭倦，人雖然想居中不偏，但顏色卻不能盡如人意！”觀色相人法的記載其次則見於劉劭所撰《人物誌·八觀篇》：
“因此憂懼害怕的顏色大都是疲乏而放縱，熱燥上火的顏色大都是迷亂而汙穢；喜悅歡欣的顏色都是溫潤而愉快，憤怒生氣的顏色都是嚴厲而明顯，嫉妒迷惑的顏色一般是冒昧而無常；因此一個人，當其說話十分別高興而色和語言不符時，則心中有事；若其口氣嚴厲但色可以信賴時，則此人語言表達不是十分暢敏；若未發一句話便已怒容滿麵時，則心中萬分氣憤，是控製不了的表現；所有上述這些現象，都是心理現象的外在表現，絲毫不可能掩飾住，盡管妄想掩飾遮蓋，怎奈人的顏色不聽話啊！”
察顏觀色在曆史典籍中有驗證的，首推《帝王世紀》。
《帝王世紀》記載，商容和殷商百姓觀看周朝軍隊進入商都朝歌時，看見畢公來到，殷商百姓便說：“這真是我們的新君主啊！”商容卻不同意，說：“不可能是！看他的顏色麵貌，十分威嚴但又麵呈急躁，因此君子遇到大事都呈誠恐之色。”殷商百姓看到太公薑尚到來，都說：“這或許是我們的新君主了！”商容還是反對，“這也不是！看見他的顏色相貌，像虎一樣威武雄壯，像鷹一樣果敢勇武。這樣的人率軍對敵自然使軍隊勇氣十足，情況有利時勇往直前，奮不顧身，因此君子率軍對陣要敢於進取，但這人不可能是我們的新君主。”當看到周公旦來到時，殷商百姓又說：“這應該是我們的新君主了！”商容仍是不同意，說：“也不是，看他的容顏氣色，臉上充滿著歡欣喜悅之氣，他的誌向是除去賊人，這不是天子，大概是周朝的相國；因此聖人為民首領應該有智慧。”最後，周武王出現了，殷商百姓說：“這肯定是我們的新君主了！”商容說：“這一位正是我們的新君主，他作為聖德之人為海內百姓討伐昏亂不道的惡君，但是見惡不露怒色，見善不現喜氣，顏貌氣色十分和諧，因此便知他是我們的新君主。”
察顏觀色在諸子百家典籍中有驗證的大約有下列記載：《呂氏春秋·精喻篇》還記載：齊桓公彙合諸侯時，衛國國君來晚了，齊桓公朝會時與管仲密謀討伐衛國；退朝回到後宮，衛姬看到齊桓公駕到，急忙下堂拜揖齊桓公，請求齊桓公赦免衛國國君的罪過；齊桓公說：“我對衛國沒有什麼打算，你請我赦免他什麼罪過？”衛姬回答說：“賤妾我看見您進入後宮時，趾高氣揚，似乎是有征伐他國的氣象；而看到賤妾我時，顏色又有好轉，因此猜到您要討伐衛國。”次日，齊桓公朝會時揖拜管仲，管仲向齊桓公說：“您要放棄討伐衛國了嗎？”齊桓公非常吃驚：“仲父您如何知道的？”管仲回答說：“您朝會揖拜時態度非常恭謹，言語緩慢，而看到卑臣時又麵露慚色，因此為臣知道您要放棄伐衛了！”齊桓公說：“這太好了，仲父在朝廷治理軍國大政，夫人在宮內輔弼君德，我明白我不會被各國諸侯笑話了！”
《呂氏春秋·精喻篇》記載：晉襄公派人出使周朝，對周朝天子說：“敝國君主現在病得很厲害，通過占卜知道是因為三塗山在作祟，因此敝國君主派遣下臣我請求天子您假借道路為敝國君主祈福去災。”周天子答應了晉國使臣的請求。朝見禮儀結束後，晉國使臣離開王宮，萇弘對劉康公說：“在三塗山為國君祈福去災而受到周天子的禮遇，這是吉慶的事情；但晉國的客人卻麵有勇武氣色，或許會有別的事情發生，希望您能防備他廠劉康公，於是整備軍隊予以防備。晉國軍隊果然趁著在三塗山祭祀的機會，命令楊子率軍十二萬人緊隨其後，從棘津渡河偷襲聊、阮、梁三個小國，把這三個小國滅亡了。《說苑·權謀篇》記載：齊桓公與管仲密謀討伐莒國，討伐令還未公布而舉國皆知。齊桓公非常疑惑，就問管仲，管仲說：“國內一定有聖人知道此事！”齊桓公恍然大悟地說：“啊！昨日百姓服役時，有人手拿柘杵，眼望天空，難道是那個人嗎？”於是命令再次讓百姓服役，而且必須是本人。過了一段時間，東郭垂來了，管仲說：“這個人肯定是那個聖人！”於是命禮賓宮廷請進朝堂，與管仲見麵。管仲說：“您就是那個傳言說要征伐莒國的人！”東郭垂說：“正是我！”管仲說：“我不曾說要征伐莒國，您為何散布謠言要征伐莒國？”東郭垂回答說：“為臣聽說過，君子善於謀劃，小人善於揣摩，這是我揣摩的結果！”管仲又問：“但我沒有要征伐莒國，您是如何揣摩的呢？”東郭垂回答說：“我聽說過君子之人有三種顏色：悠然自得的喜慶之色，是要舉行慶典；恬然清靜的哀痛之色，是要舉行喪葬；而勃然充盈的憤怒之色，是要有征伐之事。日前，我看到您在台上時，臉上布滿了勃然憤怒的氣色，這是兵革擾動的跡象；盡管您未明講，但所說的都是有關莒國的；您振臂揮手，指向的也是莒國。我私下考慮，沒有臣從的小諸侯國，僅剩下了莒國，難道不是莒國嗎？因此我說要討伐莒國！”