Выражение пошло из-за бледной кожи, причем термин восходит к Средневековью, когда так стала называть себя кастильская знать, подчеркивавшая, что ее предки не смешались с маврами или другими народами со смуглой кожей (подразумевается, что у светлокожих хорошо заметны вены с голубоватым оттенком).
Позже это выражение стало противопоставлять аристократов крестьянам и прочим простолюдинам, традиционно покрытых загаром от постоянной работы под солнцем. https://www.vokrugsveta.ru/quiz/222679/