Выражение это, как обозначение редкого, резко отличного от остальных человека, дано в 7-й сатире римского поэта Ювенала (середина 1 в. — после 127 г. н. э.):
Рок дает царства рабам, доставляет пленным триумфы. Впрочем, счастливец такой реже белой вороны бывает.