在原始社會早期，人是不穿衣服的，隨著社會的發展，人們開始穿起了衣服，並逐步形成了帶有標誌性的服裝。《易經·係辭》稱“黃帝堯舜垂衣裳而天下治”，就是說穿衣服是分尊卑等級的，帝王冕旒、九品頂戴，以至各級衙門裏的衙役裝等，都要安分遵守各自的等級不能亂穿衣服，這就奠定了職業裝的基本風格。
到了奴隸社會，衣冠服飾更成了統治階級“昭名分、辨等威”的參照物，那時已經產生了比較完整的衣冠製度，自天子至大夫到士卿，什麼等級的人著什麼樣的服飾都是有規定的。
到了漢代，因職業不同，衣冠服飾也有區別。《後漢書·輿服誌》中寫道：“倘書幘收，方三寸，名日納言，示以忠正，顯近職也。”它說明了服飾與職業的關係。
漢代以後，衣冠製度已日趨完善，如南北朝時，皇帝的服飾“衣畫裳繡，皂上降下”；皇後的服飾“皆以蠶衣為朝服”；王公貴族則“服無定色，冠綴紫標，標以繒為之”；而八品以下的官員是不能穿羅、紈、綺等這些高級絲織品的。在其他方麵服裝也早已成為某種職業人士的代表或標誌，比如儒生的長衫，武將的鎧甲等。
據宋代孟元老的《東京夢華錄》記載：“其賣藥賣卦，皆具冠帶。至於乞丐者，亦有規格，稍似懈怠，眾所不容。”就是說商人都有自己的職業裝，甚至連乞丐也有自己的職業裝。
元朝的朝廷還規定：“娼妓穿著紫皂衫子，戴角冠兒。娼妓之家長並親屬男子裹青頭巾。”因為青和綠二色比較接近，人們習慣叫“綠頭巾”。青頭巾也罷，綠頭巾也罷，在古代都是賤色，是從事農業生產的社會最低層的農民穿著的，元、明時期，官府就規定農家男子隻能著綠巾，以示等級低。所以，青頭巾和綠頭巾就經常用來代指從事低賤職業的人。
到了明朝嘉靖年間，郎瑛在《七修類稿》中寫道：“吳人（蘇州）淫行者為綠頭巾。”從此，“綠頭巾”就專門用來指妻子有不貞行為的男人，演變到後來成了“綠帽子”。再到後來，由於烏龜蓋子同“綠帽子”一色，人們又把戴綠帽子的男人叫做“王八”。
正因為不同社會地位的人都有自己的職業裝，所以就有了“隻認衣冠不認人”等俗語的出現，也形成了中國古代用特定服飾來代稱的社會地位及官職。