L’Ecole polytechnique fédérale de Lausanne (EPFL) révèle à quel point l’intelligence artificielle (IA) et le cerveau humain peuvent partager des similitudes. Des chercheurs de cette institution ont mis au jour des «unités spécialisées du langage» dans les grands modèles d’IA, dont la suppression se traduit par une chute spectaculaire de leurs performances linguistiques.
Ces modèles, capables de comprendre, raisonner et même anticiper les émotions humaines, reposent donc en partie sur des mécanismes comparables à ceux de notre cerveau. Le parallèle frappant avec les réseaux neuronaux du langage humain laisse entrevoir de nouvelles pistes pour décrypter la boîte noire de l’IA.
Méthodes des neurosciences
En utilisant des méthodes venues des neurosciences, les scientifiques ont isolé des unités qui s’activent spécifiquement lors du traitement de phrases cohérentes, un peu à l’image des zones cérébrales dédiées au langage chez l’homme. Ce travail a permis de démontrer que moins de 100 «neurones» virtuels, soit environ 1% des unités du modèle, suffisent à garantir la cohérence et la compréhension du langage par l’IA.
L’expérience montre qu’en retirant ces unités clés, l’IA devient incapable de produire du texte intelligible, alors que la suppression d’unités choisies au hasard n’a pas le même effet, selon ce communiqué. Cela souligne l’importance cruciale de cette architecture interne, restée jusqu’ici largement méconnue même des spécialistes.
Au-delà du langage…
D’autres modules spécialisés, semblables aux réseaux de la pensée logique ou sociale du cerveau humain, existent-ils aussi chez les IA? En élargissant leurs recherches, les équipes de l’EPFL ont identifié chez certains modèles des unités dédiées au raisonnement ou à la compréhension sociale, des variations qui pourraitent dépendre des méthodes d’entraînement ou de la nature des données analysées.
Alors que de nouveaux modèles sont capables de traiter aussi bien le texte que l’image, la vidéo ou le son, l’enjeu de la spécialisation des unités devient plus complexe et fascinant. Les chercheurs s’interrogent sur la manière dont ces modules interagissent lorsqu’il s’agit de tâches relevant de plusieurs domaines à la fois, une question encore largement ouverte.
XS