Los angeles mémoire hebbienne obtient des résultats semblables à ceux d’un humain sur des tâches de traitement séquentiel

Les transformateurs sont des modèles d’apprentissage automatique conçus pour détecter et suivre des modèles dans des données séquentielles, telles que des séquences de texte. Ces dernières années, ces modèles sont devenus de plus en plus sophistiqués et constituent l’épine dorsale des plateformes de chat populaires, telles que ChatGPT,

Même si les convertisseurs existants ont obtenu de bons résultats sur diverses tâches, leurs performances se dégradent souvent considérablement lors du traitement de séquences plus longues. Cela est dû à sa capacité de stockage limitée, ou en d’autres termes à los angeles faible quantité de données qu’il peut stocker et analyser simultanément.

Des chercheurs de l’Université Sungkyunkwan en Corée du Sud ont récemment développé un nouveau système de mémoire qui pourrait aider à améliorer les performances des commutateurs sur des tâches plus complexes comportant des séquences de données plus longues. Ce système a été présenté dans un article publié dans arXiv Serveur de prépublication, inspiré d’une théorie importante de los angeles mémoire humaine, connue sous le nom de théorie Hebbian.

“Les commutateurs souffrent de longues séquences d’entrée en raison de leur capacité limitée”, ont écrit Sang-Jun Park et Jin Younger-bak dans leur article. “Bien qu’une answer consiste à augmenter los angeles longueur de l’entrée, l’étendre à l’infini est irréaliste. De plus, les humains mémorisent de manière sélective et n’utilisent que les informations pertinentes de l’entrée, contrairement aux transformateurs qui traitent toutes les données brutes du début à los angeles fin. ”

L’objectif primary des travaux récents de Park, Pak et de leurs collègues était de concevoir un système succesful de développer les capacités des modèles transformateurs, en utilisant une théorie neuropsychologique bien établie. Cette théorie, connue sous le nom de théorie hebbienne, affirme essentiellement que les neurones et les cellules qui sont activés ensemble de manière répétée ont tendance à s’associer, ces connexions conduisant finalement à l’apprentissage.

“Nous présentons Memoria, un réseau de mémoire générale qui applique le théorème Hebbien, une théorie clé expliquant los angeles method de los angeles mémoire humaine pour améliorer les dépendances à lengthy terme dans les réseaux neuronaux”, expliquent Park et Pak dans leur article. “Los angeles mémoire stocke et récupère des informations appelées engrammes à plusieurs niveaux de mémoire de travail, de mémoire à courtroom terme et de mémoire à lengthy terme, en utilisant des poids de connexion qui changent selon los angeles règle de Hebb.”

Jusqu’à présent, les chercheurs ont évalué leur système de mémoire hebbien dans une série d’expériences, avec des résultats très prometteurs. Il a été constaté que Memoria améliore considérablement les performances des convertisseurs dans diverses tâches impliquant le traitement de longues séquences de données.

“Grâce à des expériences avec des modèles populaires basés sur des transformateurs tels que BERT et GPT, nous montrons que Memoria améliore considérablement los angeles capacité à prendre en compte les dépendances à lengthy terme dans diverses tâches”, ont écrit les chercheurs dans leur article. « Les résultats montrent que Memoria surpasse les méthodologies existantes en matière de tri, de modélisation linguistique et de catégorisation des textes longs. »

L’structure de mémoire prometteuse développée par ces chercheurs pourra bientôt être testée sur un éventail plus massive de tâches complexes, afin d’explorer davantage son potentiel. En outre, d’autres groupes de recherche à travers le monde pourraient bientôt commencer à l’utiliser pour améliorer les performances de leurs modèles basés sur des transformateurs.

Le code écrit par Park et Bak est open supply et facilement obtainable sur GitHub. Dans le cadre de leur étude, les chercheurs ont déployé Memoria à l’aide d’un bundle Python autonome, ce qui facilite son utilisation par les développeurs du monde entier.

© 2023 Réseau ScienceX