|
EN BREF
|
L’impact dévastateur du surentraînement
Le phénomène du surentraînement dans le domaine de l’intelligence artificielle (IA) est devenu l’un des principaux points de discussion parmi les chercheurs et les développeurs. Des études récentes menées par des universitaires de renommée mondiale mettent en lumière comment l’excès de données peut sérieusement nuire aux performances d’un modèle d’IA. Contrairement à l’idée reçue selon laquelle plus de données équivaut à de meilleures performances, il semble que la surenchère en matière de données d’entraînement puisse causer des erreurs majeures dans le fonctionnement des modèles IA.
Une étude révélatrice sur l’entraînement des modèles IA
Des chercheurs des universités de Carnegie Mellon, Stanford, Harvard et Princeton ont identifié un phénomène qu’ils qualifient de surentraînement catastrophique. Leur recherche s’est concentrée sur deux versions du modèle OLMo-1B, l’une entraînée avec 2,3 billions de tokens et l’autre avec 3 billions. Étonnamment, le modèle avec moins de données a obtenu des performances supérieures, affichant des résultats jusqu’à 3 % meilleurs selon divers critères de référence.
Le danger d’une approche excessive
Les scientifiques ont démontré que l’augmentation des données d’entraînement ne mène pas toujours à une amélioration des résultats. Ils ont attribué cette détérioration des performances à ce qu’ils appellent une « sensibilité progressive ». En d’autres termes, plus la quantité de tokens est importante, plus le modèle devient vulnérable. Cela signifie que des ajustements minimes lors de l’affinage ou l’introduction de bruit peuvent compromettre les avancées réalisées durant l’entraînement.
Comprendre le point d’inflexion
Un aspect clé de ces études est la notion de point d’inflexion. Ce terme désigne le moment où le surentraînement commence à avoir un impact négatif sur les performances du modèle. Selon les résultats, ce point critique est souvent atteint lorsque le volume total des tokens dépasse les 2,5 billions pour des modèles plus restreints comme OLMo-1B. Passé ce seuil, les bénéfices potentiels de l’entraînement sont ternis par des défis d’instabilité interne.
Vers une meilleure approche de l’entraînement
Les chercheurs ne préconisent pas l’abandon du pré-entraînement, mais encouragent plutôt les développeurs à réfléchir à une quantité optimale d’entraînement. Leur étude appelle à un recentrage sur le dimensionnement des modèles, suggérant que l’ensemble du pipeline d’entraînement doit être réévalué afin de limiter les effets négatifs du surentraînement. Ce changement de perspective pourrait avoir des répercussions significatives sur la manière dont les modèles d’IA sont développés et entraînés à l’avenir.
