Pourquoi évaluer une intelligence artificielle sur des données nouvelles ?
Réponse courte
Des données nouvelles vérifient si le modèle généralise à des cas qu’il n’a pas appris. Une mesure faite sur les seuls exemples d’entraînement est trop favorable et ne renseigne pas correctement sur ses performances en usage.
Comprendre
Mesurer la généralisation
Pendant l’entraînement, les paramètres d’un modèle sont ajustés à partir d’exemples. Il peut donc réussir ces cas parce qu’il en a mémorisé certaines particularités. Pour savoir s’il a appris une régularité utile, il faut l’évaluer sur des données séparées, qui n’ont pas servi à cet ajustement.
Séparer les rôles des jeux de données
Les données d’entraînement servent à apprendre. Un jeu de validation peut aider à choisir entre plusieurs modèles ou réglages. Le jeu de test est réservé à l’évaluation finale. Si l’on modifie le modèle à chaque examen du test, celui-ci finit lui aussi par influencer les choix et perd son indépendance.
Vérifier que la comparaison est loyale
Il faut aussi rechercher des doublons ou des observations presque identiques réparties entre entraînement et test. Par exemple, des copies d’une même photographie dans les deux ensembles peuvent gonfler le score. Enfin, les nouvelles données doivent représenter le contexte visé : des images prises par un autre type de capteur peuvent avoir une apparence différente et révéler une baisse de performance.
Étapes
- Sépare les exemples utilisés pour ajuster les paramètres de ceux destinés à l’évaluation.
- Utilise éventuellement la validation pour choisir le modèle, puis réserve le test pour la mesure finale.
- Recherche les doublons entre ensembles et vérifie que le test représente l’usage visé.
Exemples
- Un modèle de reconnaissance d’images obtient un score élevé sur ses images d’entraînement ; des photographies inédites permettent de tester sa généralisation.
- Si des images presque identiques de la même scène figurent dans l’entraînement et dans le test, le score final peut surestimer la capacité à reconnaître de nouvelles scènes.
Pièges fréquents
- Annoncer comme performance finale le score mesuré sur les données d’entraînement : elles ont déjà servi à ajuster le modèle.
- Consulter le jeu de test à chaque étape pour choisir des réglages : il devient alors indirectement une donnée de validation.
