五色說無疑有它的進步意義。但是，隨著光學認識的發展，五色觀念卻妨礙了古人對豐富多彩的光色散現象做客觀的描述和分析。
自然界常見的色散現象有虹霓和晶體散射兩類。“赤橙黃綠青藍紫，維持彩練當空舞。”彩虹自古為人所喜愛並早在商周時代，就有對虹的觀察認識。如《楚辭·遠遊》描寫虹：“建雄虹之采旄兮，五色雜而炫耀。”唐初孔穎達指出，“日照雨滴”是虹的成因。宋代孫彥先解釋：“虹乃餘種日影，日照雨則有之。”百年後朱熹進一步指出：“虹非能止雨夜，而雨氣至是已薄，亦是日色散射雨氣。”這比西歐培根（1214～1294）主張虹是空中無數水滴多引起的說法早了一兩百年。南宋程大昌對單個水滴的色散現象做過仔細觀察，在《演繁露》中寫道：“凡雨初鬢，或露之未啼，其餘點綴於草木枝葉之末，欲墜不墜，則皆聚為圓點，光瑩可喜。……五色具足，閃爍不定，是乃日之光品著色於水，而非雨露有此五色也。”
虹是天然的色散現象。關於虹的形成，直到300年前捷克科學家瑪爾其用三角柱玻璃將陽光散成彩虹，才得到比較科學的解釋。
關於晶體色散現象，其實比瑪爾其還早400多年，我國醫學家寇宗爽著作《本草衍義》（1119年印行）就有用菩薩石把陽光散成五色圓光的記載：“嘉州峨眉山石與五台山石相似，出岩竇中，名菩薩石，其色瑩潔，狀如泰山狼牙、信州永昌之類，映日射之，有五色圓光，其質六棱，則光彩微茫，間有小如櫻珠，則五色粲然可喜。”
寇氏的記載中明確指出了這種石材是一種透明的六棱晶，可見引起色散現象不獨是三棱鏡。後來明代陳文燭在1575年寫過的峨眉山記以及明代天台人士王氏於1588年寫過的遊記也都記載了這種石頭以及色散現象。後者不僅見到並收藏了這種“放光石”，而且指出了銅鼓門隙用陽光照射的過程。此後，明代大科學家李時珍在《本草綱目》中記載了這種“菩薩石”：菩薩石，又名放光石。金石部還有“菩薩石”一條，指明其可以散射陽光，以及在醫藥上的價值。
北宋《楊文公談苑》中記載：“上饒水晶之類，日射之有五色。”明末，著名學者方以智對前人觀察到的各種色散現象做了全麵總結，他在《物理小識》中寫道：“凡寶石麵凸則光成一條，有數棱者，則必有一麵五色。如峨眉山放光石，六麵也；水晶壓紙，三麵也；燒料三麵水晶，亦五色。峽日射飛泉成五色；人於回牆間向日噴水，亦成五色。故知虹霓之彩，星月之暈，五色之雲，皆同此理。”
由上述可看出，我國古代色散理論以五色說為基礎。古人認識到日光被透明體散射後產生五色。這就是我國從戰國至清初所達到的認識水平。中國秦漢前關於虹等色散現象的認識水平與亞裏士多德所代表的西方水平不相上下，而且《楚辭》的創作時代與亞氏生活的時代也基本一致。但中國古人曆經2000餘年的觀察研究，直到方以智關於虹等色散現象的描述，仍然未脫五色說之寞臼；而西方經曆了同樣時間的研究後，卻得出了正確的七色說，並且用反射和折射理論成功地說明了色散現象的機理。就有可靠文獻證據的時間而論，中西大致相當，都是從公元前4世紀前後到公元17世紀中葉；就實踐經驗而論，中國從先秦至清代，各個時期都有不少人對各種色散現象作過觀察研究，所積累的經驗知識和留下的史料不比西方少；就研究方法而論，中西都運用了觀察和實驗方法，而且程大昌對單個水滴的觀察研究比笛卡兒的玻璃水球實驗早500年左右。因此，從這幾方麵來看，中國絕不比西方遜色。但中國卻未能達到西方那樣的結果，大概原因有二：一是中國古代對光的折射性質認識不足，二是受五行五色觀念的束縛。前者影響了古人對色散機理的深入理解，後者製約了古人對色散現象的詳細觀察和描述。
五色說，一方麵體現了古人對顏色的超前認識，另一方麵也製約了色散學的發展。