古代社会等级森严，连穿衣服都有各种各样的限制，平民百姓只能穿麻布的衣服，不能穿丝绸锦绣，因此用“布衣”来指称平民百姓。

西汉开国功臣很多都是“起自布衣”，称作“布衣将相”，正如同陈胜感叹:“王侯将相，宁有种乎!”“白丁”的称谓出自“白徒”和“白屋”。白徒指没有军籍临时征集的壮丁；白屋指平民百姓居住的房屋。按照等级制，平民百姓的房屋不准涂饰彩绘，因此都露出了木材的本色，故称白屋”。还有一种说法是平民百姓只能用白茅草覆盖屋顶，所以叫“白屋”。“丁”是对成年男子的称呼，男子成年后要担当赋役，这时开始称为“丁”。成年的年龄标准历朝历代不太一样，有四十为丁，有二十三岁为丁，有二十一岁为丁，有二十岁为丁。“白丁”意为临时征集的壮丁。不过那时还没有这个称谓，仅仅叫“白徒”，后来引申开去，把没有功名没有官职的平民一概叫做“白衣”。唐代参加科举考试的举子们因为是官员的后备军，因此统称之为“白衣公卿”。

“白丁”的正式称谓始于唐代或者稍早，刘禹锡著名的文章《陋室铭》使“白丁”这一称谓广为人知:谈笑有鸿儒，往来无白丁。”“白丁”与“鸿儒”对举，是指没有学问的人。

搞笑的是，在今天的网络语言中，用“白丁”一词指那些不要孩子的丁克夫妻半途反悔生育子女的行为，意思是“白白丁克了一回”，可发一笑!（据《新华每日电讯》）