|
EN BREF
|
« Une avancée majeure pour la science » : un chercheur affirme avoir découvert le secret des neurones de l’IA
Les grands modèles d’intelligence artificielle restent difficiles à interpréter : leurs réseaux contiennent des milliards de fonctions mathématiques dont le rôle précis est souvent inconnu. Nick Cammarata, chercheur chez Goodfire AI et ancien membre d’OpenAI, avance une explication nouvelle de l’activité de certains neurones artificiels. Selon lui, ceux-ci ne confondraient pas nécessairement des concepts sans rapport : ils pourraient détecter des caractéristiques communes plus abstraites, une piste qui relance les recherches sur l’interprétabilité et la sécurité des IA.
Des réseaux de neurones difficiles à décoder
Les modèles génératifs sont constitués de réseaux de neurones artificiels organisés selon différentes architectures, comme les transformeurs, les réseaux récurrents ou les réseaux convolutifs. Dans ce contexte, un « neurone » n’est pas une cellule physique : c’est une opération mathématique qui transforme des valeurs et contribue au calcul effectué par le modèle.
Pour comprendre un système complexe, les chercheurs peuvent comparer les requêtes qui lui sont soumises aux réponses qu’il produit. Mais cette observation ne révèle pas toujours les mécanismes internes. Une autre approche consiste à examiner l’activité de neurones individuels et à chercher quels motifs, concepts ou propriétés déclenchent leur activation. Cette démarche s’inscrit dans un effort scientifique plus large visant à explorer des systèmes complexes, comme ceux étudiés lors de manifestations dédiées à l’astronomie et à l’observation de l’Univers.
Le problème des neurones polysémiques
Un neurone peut s’activer en présence de plusieurs éléments qui semblent, à première vue, n’avoir aucun lien. Un même signal pourrait ainsi être associé à l’image d’un chat et à celle d’une voiture. Ce phénomène est souvent expliqué par la superposition : faute de disposer d’un neurone distinct pour chaque caractéristique, le réseau utiliserait une même unité pour représenter plusieurs concepts.
Dans cette hypothèse, les concepts partagés par un neurone seraient suffisamment éloignés dans l’espace de représentation du modèle pour limiter les interférences. Cette idée aide à expliquer pourquoi l’activité d’une unité isolée peut paraître ambiguë. Mais elle ne signifie pas nécessairement que le neurone représente directement chacun des objets observés : il pourrait plutôt réagir à une propriété commune plus précise.
La généralisation récursive : repérer des formes communes
Cammarata propose une autre interprétation, qu’il nomme généralisation récursive. Dans l’exemple du chat et de la voiture, le neurone ne coderait pas deux catégories indépendantes. Il pourrait détecter un motif visuel partagé : une forme en V, présente notamment dans le contour d’un visage de chat ou dans l’avant de certains véhicules.
Selon cette explication, le neurone s’activerait en réponse à une caractéristique visuelle élémentaire plutôt qu’à l’objet pris dans son ensemble. Des objets dépourvus de cette forme, comme une balle ou un escargot, ne déclencheraient alors pas la même activité. Le réseau pourrait combiner ces caractéristiques à plusieurs niveaux, des motifs simples jusqu’à des représentations plus élaborées, ce qui donnerait son nom au mécanisme proposé.
Cette approche rappelle que l’analyse d’un système vivant ou artificiel dépend souvent du niveau auquel on l’observe. Les chercheurs en biologie et dans l’étude du monde vivant s’intéressent eux aussi aux relations entre structures élémentaires et propriétés complexes, même si les mécanismes des réseaux artificiels leur sont propres.
Une piste pour comprendre les décisions des modèles
Si cette interprétation se vérifie, elle pourrait aider à construire des descriptions plus lisibles des calculs internes des grands modèles de langage. En identifiant les caractéristiques qui déclenchent certaines unités, les équipes pourraient mieux expliquer pourquoi un modèle répond d’une manière particulière, repérer des comportements inattendus et étudier les liens entre ses représentations internes et ses sorties.
Cette connaissance pourrait également contribuer aux recherches sur l’alignement des IA, c’est-à-dire la manière de rapprocher le comportement d’un modèle des objectifs et des limites fixés par ses concepteurs. Comprendre davantage les mécanismes internes ne garantit toutefois pas qu’un système sera parfaitement contrôlable. Cela pourrait fournir des outils supplémentaires pour examiner ses réactions, comme les connaissances scientifiques contribuent à éclairer des enjeux complexes en souveraineté sanitaire ou dans l’étude des liens entre santé et environnement.
Des résultats encore discutés par la communauté scientifique
La proposition a suscité des réactions positives chez certains spécialistes, qui y voient une avancée prometteuse pour l’interprétabilité mécaniste. Sam Altman, dirigeant d’OpenAI, a exprimé son enthousiasme, tandis que Tarun Gogineni, chercheur au sein de l’entreprise, a présenté le travail comme une étape importante. Ces réactions témoignent de l’intérêt du sujet, mais ne constituent pas une validation scientifique indépendante.
D’autres chercheurs se montrent plus réservés. Ils soulignent que la généralisation récursive, si elle existe, n’exclut pas nécessairement la superposition : plusieurs mécanismes pourraient coexister dans un même réseau. Une autre difficulté demeure également : comprendre l’activité de neurones individuels ne suffit pas forcément à prévoir le comportement global d’un modèle composé de très nombreuses unités interconnectées.
Du neurone individuel au réseau complet
La comparaison souvent avancée est celle de la météo : connaître les lois qui régissent les particules de l’atmosphère ne permet pas, à elles seules, de prévoir simplement le temps qu’il fera. De façon similaire, même une cartographie détaillée des neurones ne résoudrait pas automatiquement le problème de la prédiction des comportements d’un réseau entier. Les interactions entre unités et leur organisation jouent un rôle essentiel.
Les résultats décrits par Cammarata doivent par ailleurs être examinés et reproduits par d’autres équipes. Les travaux d’interprétabilité se poursuivent donc sur deux fronts : déterminer ce que représentent les unités individuelles et comprendre comment leurs interactions produisent les réponses d’un modèle. C’est à cette échelle collective que se joue une partie des questions les plus difficiles sur le fonctionnement des IA.