Les réseaux de neurones profonds ne voient pas le monde comme nous le voyons

Les systèmes sensoriels humains sont très efficaces pour reconnaître les choses que nous voyons ou les mots que nous entendons, même si l’objet est à l’envers ou si le mot est prononcé avec un son que nous n’avons jamais entendu auparavant.

Les modèles informatiques connus sous le nom de réseaux de neurones profonds peuvent être entraînés pour faire los angeles même selected, identifier correctement l’symbol d’un chien quelle que soit los angeles couleur de sa fourrure ou identifier un mot quel que soit le ton de los angeles voix de l’orateur. Cependant, une nouvelle étude menée par des neuroscientifiques du MIT révèle que ces modèles réagissent souvent de los angeles même manière à des photographs ou à des mots qui ne ressemblent pas à los angeles cible.

Lorsque ces réseaux neuronaux étaient utilisés pour générer une symbol ou un mot qui répondait de los angeles même manière qu’une entrée naturelle spécifique, comme l’symbol d’un ours, los angeles plupart d’entre eux généraient des photographs ou des sons que les observateurs humains ne pouvaient pas reconnaître. Cela suggère que ces modèles construisent leurs propres « invariants », ce qui signifie qu’ils répondent de los angeles même manière à des stimuli aux caractéristiques très différentes.

Les résultats offrent aux chercheurs une nouvelle façon d’évaluer dans quelle mesure ces modèles imitent l’organisation de los angeles belief sensorielle humaine, explique Josh McDermott, professeur agrégé de sciences du cerveau et des sciences cognitives au MIT et membre du McGovern Institute for Mind Analysis et du Mind Heart du MIT. Esprits et machines.

“Cet article montre que vous pouvez utiliser ces modèles pour extraire des signaux anormaux qui conduisent finalement à un diagnostic des représentations dans le modèle”, explique McDermott, auteur major de l’étude. “Ce take a look at devrait faire partie de los angeles suite de assessments que nous utilisons pour évaluer les modèles.”

Jenelle Feather, Ph.D. ’22, aujourd’hui chercheur au Heart for Computational Neuroscience du Flatiron Institute, est l’auteur major de l’article en libre accès, qui paraît dans Neurosciences normales. Guillaume Leclerc, étudiant diplômé au MIT, et Alexandre Madry, professeur Cadence de systèmes de conception pour l’informatique au MIT, sont également les auteurs de l’article.

Différentes perceptions

Ces dernières années, les chercheurs ont formé des réseaux neuronaux profonds capables d’analyser des thousands and thousands d’entrées (sons ou photographs) et d’apprendre des caractéristiques communes qui leur permettent de classer un mot ou un objet cible avec los angeles même précision que les humains. Ces modèles sont actuellement considérés comme les principaux modèles de systèmes sensoriels biologiques.

On pense que lorsque le système sensoriel humain effectue ce sort de catégorisation, il apprend à ignorer les caractéristiques qui ne sont pas liées à l’identité fondamentale de l’objet, comme los angeles quantité de lumière qui l’éclaire ou l’perspective sous lequel il est vu. C’est ce qu’on appelle l’invariance, ce qui signifie que les objets sont perçus comme identiques même s’ils présentent des différences dans ces caractéristiques moins importantes.

“Classiquement, los angeles façon dont nous envisageons les systèmes sensoriels est qu’ils construisent des invariants pour toutes les assets de variation que peuvent avoir différents exemples de los angeles même selected”, explique Feather. “L’organisme doit percevoir qu’il s’agit de los angeles même selected même s’ils apparaissent comme des signaux sensoriels complètement différents.”

Les chercheurs se sont demandés si les réseaux neuronaux profonds formés pour effectuer des tâches de classification pourraient faire évoluer des invariants similaires. Pour tenter de répondre à cette query, ils ont utilisé ces modèles pour générer des stimuli produisant le même sort de réponse au sein du modèle, comme exemple de stimulus fourni par les chercheurs au modèle.

Ils appellent ces stimuli des « mesures typiques », reprenant une idée de los angeles recherche classique sur los angeles belief selon laquelle des stimuli impossibles à distinguer d’un système peuvent être utilisés pour diagnostiquer ses constantes. Le idea d’analogies a été développé à l’origine dans l’étude de los angeles belief humaine pour décrire des couleurs qui semblent identiques même si elles sont composées de longueurs d’onde différentes de lumière.

À leur grande marvel, les chercheurs ont constaté que los angeles plupart des photographs et des sons ainsi produits ne ressemblaient pas aux exemples initialement fournis par les modèles. L. a. plupart des photographs étaient un fouillis de pixels d’apparence aléatoire et les sons ressemblaient à du bruit inintelligible. Lorsque les chercheurs ont montré les photographs à des observateurs humains, dans los angeles plupart des cas, les humains n’ont pas classé les photographs synthétisées par les modèles dans los angeles même catégorie que l’exemple cible d’origine.

“Ils sont en fait complètement méconnaissables pour les humains”, explique Feather. “Ils n’ont pas l’air ou ne semblent pas naturels, et ils n’ont pas de caractéristiques interprétables que n’importe qui pourrait utiliser pour classer un objet ou un mot.”

Les résultats suggèrent que les modèles ont en quelque sorte développé leurs propres constantes qui diffèrent de celles trouvées dans les systèmes cognitifs humains. Cela amène les modèles à percevoir les paires de stimulus comme identiques, même si elles sont significativement différentes de celles des humains.

Constantes jurisprudentielles

Les chercheurs ont constaté le même effet dans de nombreux paradigmes de imaginative and prescient et d’audition différents. Cependant, chacun de ces modèles semble développer ses propres constantes. Lorsque les jauges d’un modèle étaient présentées à un autre modèle, les jauges du deuxième modèle n’étaient pas aussi reconnaissables qu’elles l’étaient pour les observateurs humains.

“L. a. principale déduction qui en découle est que ces modèles semblent avoir ce que nous appelons des invariants caractéristiques”, explique McDermott. “Ils ont appris à être invariants par rapport à ces dimensions spécifiques dans le domaine du stimulus, qui est spécifique au modèle, de sorte que les autres modèles n’ont pas les mêmes invariants.”

Les chercheurs ont également découvert qu’ils pouvaient stimuler les mesures du modèle pour qu’elles soient plus reconnaissables par les humains en utilisant une approche appelée formation contradictoire. Cette approche a été développée à l’origine pour lutter contre une autre limitation des modèles de reconnaissance d’objets, à savoir que l’advent de petits changements presque imperceptibles dans une symbol peut entraîner une mauvaise reconnaissance du modèle.

Les chercheurs ont découvert que l’entraînement compétitif, qui impliquait l’inclusion de certaines de ces photographs légèrement modifiées dans les données d’entraînement, produisait des modèles dont les paramètres étaient plus reconnaissables par les humains, même s’ils n’étaient toujours pas aussi reconnaissables que les stimuli originaux. Les chercheurs affirment que cette amélioration semble indépendante de l’effet de l’entraînement sur los angeles capacité des modèles à résister aux attaques hostiles.

« Ce sort de formation a un effet essential, mais nous ne savons pas vraiment pourquoi cet effet se produit », explique Feather. “C’est un domaine de recherche long term.”

Selon les chercheurs, l’analyse des mesures produites par les modèles informatiques pourrait être un outil utile pour évaluer dans quelle mesure un modèle informatique imite l’organisation de base des systèmes de belief humains.

“Il s’agit d’un take a look at comportemental que vous pouvez effectuer sur un modèle particulier pour voir si les constantes sont partagées entre le modèle et les observateurs humains”, explique Feather. “Il peut également être utilisé pour évaluer los angeles spécificité des invariants au sein d’un modèle donné, ce qui peut aider à révéler des moyens potentiels d’améliorer nos modèles à l’avenir.”

Cette histoire a été republiée grâce à MIT Information (internet.mit.edu/newsoffice/), un web site populaire couvrant l’actualité de los angeles recherche, de l’innovation et de l’enseignement du MIT.