Une interface cerveau-ordinateur permet à une femme gravement paralysée de parler by the use of un avatar numérique

Des chercheurs de l’UC San Francisco et de l’UC Berkeley ont développé une interface cerveau-ordinateur (BCI) qui a permis à une femme gravement paralysée par un coincidence vasculaire cérébral de parler by the use of un avatar numérique.

C’est l. a. première fois que l. a. parole ou les expressions faciales sont synthétisées à partir de signaux cérébraux. Le système peut également décoder ces signaux et les convertir en texte à une vitesse d’environ 80 mots par minute, une amélioration significative par rapport à l. a. technologie disponible dans le trade.

Edward Chang, MD, chef du carrier de neurochirurgie à l’Université de Californie à San Francisco, qui travaille sur l. a. technologie connue sous le nom d’interface cerveau-ordinateur, ou BCI, depuis plus d’une décennie, espère réaliser cette dernière percée en recherche, qui permettra paraîtra le 23 août 2023, en 2023. natureconduira dans un avenir proche à un système approuvé par l. a. FDA qui permettra l. a. parole à partir de signaux cérébraux.

“Notre objectif est de restaurer une manière de communiquer complète et incarnée, qui est en fait l. a. manière l. a. plus naturelle pour nous de parler aux autres”, a déclaré Zhang, membre du Weill Neuroscience Institute de l’UCSF et professeur émérite Jane Robertson de neurosciences. Psychiatrie. « Ces progrès nous rapprochent beaucoup plus d’une véritable answer pour les sufferers. »

L’équipe de Zhang avait déjà démontré qu’il était imaginable de décoder les signaux cérébraux en texte chez un homme qui avait également subi un coincidence vasculaire cérébral plusieurs années plus tôt. L’étude actuelle démontre quelque selected d’encore plus ambitieux : décoder les signaux cérébraux et les convertir en richesse de l. a. parole, ainsi que les mouvements qui bougent le visage d’une personne au cours d’une dialog.

Zhang a implanté un mince rectangle de 253 électrodes à l. a. floor du cerveau de l. a. femme dans les zones que son équipe a découvertes comme étant importantes pour l. a. parole. Les électrodes ont intercepté des signaux cérébraux qui, sans l’coincidence vasculaire cérébral, auraient atteint les muscular tissues de sa langue, de sa mâchoire et de sa gorge, ainsi que son visage. Un câble était branché sur un port fixé à sa tête, reliant les électrodes à un ensemble d’ordinateurs.

Pendant plusieurs semaines, l. a. participante a travaillé avec l’équipe pour entraîner les algorithmes d’intelligence artificielle du système à reconnaître ses signaux cérébraux uniques pour l. a. parole. Cela impliquait de répéter encore et encore différentes words d’un vocabulaire conversationnel de 1 024 mots, jusqu’à ce que l’ordinateur apprenne les schémas d’activité cérébrale associés aux sons.

Au lieu d’entraîner l’IA à reconnaître des mots entiers, les chercheurs ont créé un système qui décode les mots à partir de clips audio. Ce sont les sous-unités du discours qui composent les mots parlés de l. a. même manière que les lettres constituent les mots écrits. Le mot « Bonjour », par exemple, comporte quatre phonèmes : « HH », « AH », « L » et « OW ».

Grâce à cette méthode, un ordinateur n’a besoin que d’apprendre 39 sons pour décoder n’importe quel mot en anglais. Cela a amélioré l. a. précision du système et l’a rendu trois fois plus rapide.

“Los angeles précision, l. a. vitesse et le vocabulaire sont essentiels”, a déclaré Sean Metzger, qui a développé le décodeur de texte avec Alex Silva, tous deux étudiants diplômés du programme commun de bio-ingénierie de l’UC Berkeley et de l’UC San Francisco. “C’est ce qui donne à l’utilisateur l. a. possibilité, à terme, de communiquer presque à l. a. même vitesse que nous et d’avoir des conversations plus organiques et naturelles.”

Pour créer l’audio, l’équipe a créé un algorithme de synthèse vocale, qu’ils ont personnalisé pour qu’il ressemble à sa voix d’avant l. a. blessure, en utilisant un enregistrement de son discours lors de son mariage.

L’équipe a animé l’avatar à l’aide d’un logiciel qui simule et anime les mouvements des muscular tissues du visage, développé par Speech Graphics, une société qui réalise des animations faciales basées sur l’intelligence artificielle. Les chercheurs ont créé des processus d’apprentissage automatique personnalisés qui ont permis au logiciel de l’entreprise d’entrelacer les signaux envoyés par le cerveau d’une femme lorsqu’elle essayait de parler et de les transformer en mouvements sur le visage de l’avatar, ouvrant et fermant l. a. mâchoire et faisant saillir les lèvres. Le portefeuille et l. a. langue montent et descendent, ainsi que les mouvements du visage pour le bonheur, l. a. tristesse et l. a. marvel.

“Nous compensons les connexions entre le cerveau et le système vocal qui ont été rompues par l’coincidence vasculaire cérébral”, a déclaré Kylo Littlejohn, un étudiant diplômé travaillant avec Zhang et Gopala Anumanchipalli, professeur de génie électrique et informatique. Sciences à l’Université de Californie, Berkeley. “Quand une personne a utilisé ce système pour l. a. première fois pour parler et déplacer le visage de l’avatar d’un côté à l’autre, je savais que cela allait avoir un réel have an effect on.”

Une prochaine étape importante pour l’équipe consiste à créer une model sans fil qui ne nécessite pas que l’utilisateur soit physiquement connecté à l’interface BCI.

“Donner aux gens l. a. possibilité de contrôler librement leurs ordinateurs et téléphones à l’aide de cette technologie air of secrecy de profondes implications sur leur indépendance et leurs interactions sociales”, a déclaré le co-premier auteur David Moses, Ph.D., professeur adjoint de chirurgie neurologique.