公元313年，汉王刘聪在光极殿大宴群臣，命晋怀帝青衣行酒，怀帝的两位旧臣见状，“因号哭”，结果被杀。青衣是仆人穿的服色，晋怀帝以皇帝之尊而从事仆役之事，境况惨极。东汉任城人郑均，有道行，在群众中威信很高，朝廷屡征不就，汉章帝出巡任城时，住在他家，因赐“尚书”俸禄终身，时人称为“白衣尚书”。“白”是表示平民身份，后来文人自命“白衣卿相”以示风流，概出于此吧。余在《通鉴》中读到这两则故事，因对旧时服色作了一番小考。
《左传·定公十年》疏：“中国有礼仪之大，故称夏，有章服之美，谓之华。”中国人注重服饰的礼制，渊源久远，且相当看重，把她当作礼的重要表征。古人说，黄帝垂衣裳而天下治。上称“衣”，下称“裳”，也就是裙子，此制今已不存。
《周易》说：“天玄地黄。”因此，周天子在祭天时，便着“玄衣纁裳”，玄指深蓝近于黑的颜色，纁兼有赤黄之色。此大概为古人讲究服饰颜色之始。黄色做为皇帝垄断的专用颜色，迟至唐朝时才开始，而此前皇帝的服色并不统一。《礼记？月令》记载，天子“着青衣”，所谓青天在上。晋怀帝要在周朝，不但不为贱，反以为贵了。秦时，始皇帝采用“五行说”，认为周朝为火德，秦朝代周，秦为水德，故皇帝的服饰为黑色。汉朝代秦，汉为土德，汉朝皇帝的衣服便是黄色。晋代实行金德制度，以赤色为贵，故晋代皇帝着红袍。至隋朝，文帝、炀帝着黄袍。但此前，包括汉代，并未明令禁止他人穿黄色衣服。唐高祖武德年间（618－626年），才开始禁止百官百姓穿黄色衣服，因为赤黄近似日头之色，而日是帝王之尊的象征，黄袍遂成为此后历代皇帝的专用之服。
百官公卿章服，《周礼》记载了十二章纹制度，《礼记》也说“天子龙衮”、“士玄衣裳”之类。孔子也曾说“恶紫之夺朱也”（《论语阳货》），说明当时贵人的服饰已有制度区别。但真正确立章服制度，是在东汉。东汉永平二年，孝明皇帝诏有司博采《周官》、《礼记》等史籍，制定了详细的祭祀服饰及朝服制度，“衣画裳绣，十二章”，章服制度得以确立。十二章纹作为帝王百官的服饰，直至清末，延用了近两千年之久。
而秦之前，政府并没有严格界定庶民皂隶的服色。秦汉之际，才规定说，“庶民为黑，车夫为红，丧服为白，轿夫为黄，厨人为绿，官奴、农人为青”。隋炀帝大业六年（610），又诏定：“五品以上，通著紫袍，六品以下，兼用绯丝，胥使以青，庶人以白，屠商以皂，士卒以黄。”柳诒徵先生说，“衣服之制，别之以色，则起于隋。”
开篇所说的“白衣卿相”之“白”，是针对“十二章纹”而言，意指不加纹饰的衣服，表示没有地位，也称“素”，后人又称布衣。