Voreingenommenheit liegt vor, wenn ein bestimmtes Urteil unverhältnismäßig stark gewichtet wird, z. B. aufgrund von Vorurteilen oder Stereotypisierung. Typischerweise wird Voreingenommenheit bei der algorithmischen Entscheidungsfindung problematisch, wenn ein bestimmtes Urteil, das sich positiv oder negativ auf eine bestimmte Gruppe oder eine Person, die einer bestimmten Gruppe angehört, auswirken kann, auf irrelevanten Gruppenmerkmalen beruht und somit zu einem ungerechten Entscheidungsergebnis führt. Die automatisierte Entscheidungsfindung stellt daher eine besondere Herausforderung in Bezug auf Fragen der Gerechtigkeit dar, wenn die Entscheidungsfindung auf Merkmalen wie Geschlecht, ethnischer Zugehörigkeit oder Alter beruht. Da Individuen zahlreiche, sich überschneidende Identitäten haben, wurde argumentiert, dass es einen inhärenten Konflikt bei Versuchen gibt, Voreingenommenheit über verschiedene Gruppen hinweg zu behandeln, und dass eine gewisse Form der Voreingenommenheit bei algorithmischen Entscheidungsfindungen zumindest für einige Vorstellungen von Fairness unvermeidlich ist. Dies wirft tiefgreifende philosophische Fragen über die Rolle von Algorithmen in der Gesellschaft und ihre Auswirkungen auf Fragen der Gleichheit und sozialen Gerechtigkeit auf.
