Comment un biais dans les données peut-il fausser les résultats d’une IA ?
Réponse courte
Un biais dans la collecte, les étiquettes ou la représentation des groupes peut conduire le modèle à apprendre des régularités incomplètes ou injustes. Il risque alors de se tromper davantage pour certains cas, même si son score moyen paraît bon.
Comprendre
D’où viennent les biais ?
Les exemples peuvent mal représenter la population visée : certains groupes ou situations sont trop peu présents. Des étiquettes peuvent aussi refléter des décisions humaines discutables. Enfin, le choix des variables et de l’objectif d’optimisation influence ce que le modèle apprend. Ajouter beaucoup de données ne corrige pas automatiquement ces défauts.
Un score global peut masquer des écarts
Supposons qu’un classificateur reconnaisse correctement la plupart des images d’un groupe très représenté, mais manque souvent celles d’un groupe rare. Le taux global de réussite peut rester élevé et cacher ces erreurs. Il faut donc examiner les résultats par groupe pertinent, en distinguant faux positifs et faux négatifs selon l’usage.
Auditer avant d’utiliser
Décris comment les données ont été recueillies et étiquetées, puis compare la composition des données à celle du contexte d’utilisation. Mesure les erreurs qui comptent pour la tâche et étudie leurs conséquences. Une étude du NIST publiée en 2019 a observé des différences de faux positifs et de faux négatifs entre groupes pour les algorithmes de reconnaissance faciale testés ; ce résultat dépend des systèmes et des données étudiés.
Étapes
- Décris la provenance des données, les critères de collecte et la façon dont les étiquettes ont été attribuées.
- Compare les groupes présents dans l’échantillon avec la population où le modèle sera utilisé.
- Calcule les erreurs par groupe et examine les effets concrets des faux positifs et des faux négatifs.
Exemples
- Si une base d’images contient très peu de photographies prises sous faible luminosité, un système peut mal classer des images nocturnes.
- Une étude NIST de 2019 a comparé les erreurs de systèmes de reconnaissance faciale selon les groupes et a trouvé des écarts variables selon les algorithmes testés.
Pièges fréquents
- Se fier uniquement au pourcentage total de bonnes réponses : un groupe peu représenté peut subir beaucoup plus d’erreurs sans peser fortement dans cette moyenne.
- Penser qu’un grand jeu de données est forcément neutre : sa collecte, ses étiquettes et la variable choisie peuvent porter des biais systématiques.
