Le nouveau système basé sur l’IA rend los angeles verbal exchange homme-robot plus fluide

Le robotic noir et jaune, censé ressembler à un gros chien, attendait des instructions. Lorsqu’ils sont arrivés, les directions n’étaient pas écrites en code, mais en anglais easy : « Visitez le bureau en bois exactement deux fois ; et n’allez pas non plus au bureau en bois devant l’étagère. »

Quatre pieds en métal entrent en motion. Le robotic s’est déplacé de sa place debout dans los angeles pièce vers une étagère à proximité et, après une courte pause, s’est déplacé vers le bureau en bois désigné avant de partir et de revenir pour une deuxième visite pour exécuter los angeles commande.

Jusqu’à récemment, il aurait été presque not possible pour des robots de navigation comme celui-ci d’effectuer un tel exercice. Los angeles plupart des logiciels actuels destinés aux robots de navigation ne peuvent pas passer de manière fiable de l’anglais, ou de toute autre langue courante, au langage mathématique que les robots comprennent et peuvent exécuter.

Cela devient encore plus difficile lorsque le programme doit faire des sauts logiques basés sur des directives complexes ou expressives (comme aller à los angeles bibliothèque avant le bureau en bois) automotive cela nécessite traditionnellement de s’entraîner sur des milliers d’heures de données pour qu’il sache ce qu’est un programme. le robotic est. C’est ce que vous êtes censé faire lorsqu’il s’agit de ce sort spécifique de commande.

Cependant, les progrès des grands modèles linguistiques basés sur l’IA sont en teach de changer los angeles donne. Doter les robots de leurs nouveaux pouvoirs de compréhension et de raisonnement contribue non seulement à rendre de telles expériences réalisables, mais incite également les informaticiens à vouloir introduire ce sort de succès dans des environnements extérieurs aux laboratoires, tels que les foyers et les grandes villes du monde.

Au cours de l’année écoulée, des chercheurs du Human to Robots Lab de l’Université Brown ont travaillé sur un système doté de ce sort de capacité et le partagent dans un nouvel article qui sera présenté à los angeles Robotics Finding out Convention à Atlanta le 8 novembre.

Les scientifiques affirment que cette recherche représente une contribution importante à des communications plus fluides entre les humains et les robots, automotive les manières parfois alambiquées par lesquelles les humains communiquent naturellement entre eux causent généralement des problèmes lorsqu’elles sont exprimées aux robots, conduisant souvent à des movements incorrectes ou à de longs retards dans los angeles planification.

“Dans cet article, nous pensions spécifiquement aux robots mobiles se déplaçant dans l’environnement”, a déclaré Stephanie Telex, professeur d’informatique à l’Université Brown et auteur most important de los angeles nouvelle étude. « Nous voulions un moyen de relier des directions en anglais complexes, spécifiques et abstraites que les gens pourraient dire au robotic – comme aller à Thayer Side road à Windfall et me retrouver au café, mais éviter CVS et s’arrêter d’abord à los angeles banque – pour le comportement du robotic.

Le file décrit remark le nouveau système et le nouveau logiciel de l’équipe rendent cela conceivable en utilisant des modèles de langage d’IA, similaires à ceux qui alimentent les chatbots comme ChatGPT, pour concevoir une méthode innovante qui segmente et segmente les directions afin d’éliminer le besoin de données de formation.

Il explique également remark le logiciel fournit aux robots de navigation un puissant outil de base succesful non seulement de recevoir des commandes en langage naturel et de générer des comportements, mais également de calculer les sauts logiques qu’un robotic pourrait devoir effectuer en fonction des deux contextes clairement définis. des directions formulées et ce qu’elles disent, le robotic peut ou ne peut pas le faire dans n’importe quel ordre.

“À l’avenir, cela air of secrecy des packages pour les robots mobiles se déplaçant dans nos villes, qu’il s’agisse d’un drone, d’une voiture autonome ou d’un véhicule terrestre livrant des colis”, a déclaré Telex. « Chaque fois que vous aurez besoin de parler à un robotic et de lui demander de faire des choses, vous pourrez le faire et lui donner des directions très riches, détaillées et précises. »

Telex affirme que le nouveau système, avec sa capacité à comprendre un langage expressif et riche, représente l’un des systèmes de compréhension du langage pour les instructions routières les plus puissants jamais publiés, automotive il peut essentiellement faire fonctionner des robots sans avoir besoin de données de formation.

Traditionnellement, si les développeurs voulaient qu’un robotic planifie et réalise des itinéraires à Boston, par exemple, ils devraient collecter divers exemples de personnes donnant des directions dans los angeles ville – telles que « traverser Boston Not unusual mais éviter l’étang aux grenouilles » – de sorte que le système sait ce que cela signifie et peut le calculer pour Android. Ils doivent refaire cette formation s’ils veulent que le robotic puisse naviguer dans los angeles ville de New York.

Le nouveau niveau de sophistication trouvé dans le système créé par les chercheurs signifie qu’il peut fonctionner dans n’importe quel nouvel environnement sans un lengthy processus de formation. Au lieu de cela, il suffit d’une carte détaillée de l’environnement.

“Nous passons essentiellement du langage aux movements effectuées par le robotic”, a déclaré Ankit Shah, chercheur postdoctoral au Telex Lab de Brown.

Pour tester le système, les chercheurs ont soumis le programme à des simulations dans 21 villes à l’aide d’OpenStreetMap. Les simulations ont montré que le système était précis dans 80 % du temps. Ce nombre est beaucoup plus précis que d’autres systèmes similaires, qui, selon les chercheurs, ne sont précis qu’environ 20 % du temps et ne peuvent calculer que des coordonnées de navigation simples, comme se déplacer d’un level A à un level B. De tels systèmes ne peuvent pas non plus tenir compte des contraintes, telles que los angeles nécessité d’éviter une zone ou de devoir se rendre à un endroit supplémentaire avant de se rendre au level A ou au level B.

En plus des simulations, les chercheurs ont testé leur système sur le campus de l’Université Brown à l’aide du robotic Boston Dynamics Spot. Dans l’ensemble, le projet s’ajoute à une histoire de travaux à fortress affect provenant du Brown’s Telex Lab, qui comprenait des recherches qui ont permis aux robots de mieux suivre les directions vocales, un algorithme qui a amélioré los angeles capacité d’un robotic à récupérer des objets et un logiciel qui a aidé les robots à produire des humains. -Comme des coups de stylo.

Du langage aux actes

L’auteur most important de l’étude est Jason Chenio, titulaire d’un doctorat en informatique. Le succès du nouveau logiciel, appelé Lang2LTL, réside dans son fonctionnement, explique un étudiant de l’Université Brown qui travaille avec Tellex. Pour illustrer cela, il donne l’exemple d’un utilisateur demandant à un drone de se rendre au « magasin » de los angeles rue principale mais seulement après avoir visité los angeles « banque ».

Il explique : Premièrement, les deux websites sont retirés. Le modèle de langage start alors à faire correspondre ces emplacements abstraits avec des emplacements spécifiques dont le modèle sait qu’ils existent dans l’environnement du robotic. Il analyse également les métadonnées disponibles sur les emplacements, telles que leurs adresses ou le sort de magasin dans lequel ils se trouvent, pour aider le système à prendre ses décisions.

Dans ce cas, il y a quelques magasins à proximité mais un seul sur Major Side road, le système sait donc que le « magasin » est Walmart et los angeles « banque » est Chase. Le modèle de langage termine ensuite los angeles traduction des commandes en logique temporelle linéaire, c’est-à-dire des codes mathématiques et des symboles qui expriment ces commandes. Le système prend ensuite les emplacements désormais désignés et les connecte à los angeles formule qu’il a créée, indiquant au robotic d’aller au level A mais seulement après le level B.

“Fondamentalement, notre système utilise sa conception modulaire et ses grands modèles de langage pré-entraînés sur des données graduées en ligne pour traiter des commandes en langage naturel directionnel et linéaire plus complexes avec différents sorts de contraintes qu’aucun système automatisé n’a été succesful de comprendre auparavant”, a déclaré Xinyu. . “Les systèmes précédents ne pouvaient pas gérer cela automotive ils étaient gênés par los angeles façon dont ils étaient conçus pour effectuer ce processus simultanément.”

Les chercheurs réfléchissent déjà à los angeles suite du projet.

Ils prévoient de publier en novembre une simulation basée sur OpenStreetMaps sur le website Internet du projet, où les utilisateurs pourront tester eux-mêmes le système. Los angeles démonstration du navigateur Internet permettra aux utilisateurs d’écrire des commandes en langage naturel qui dirigeront le drone dans los angeles simulation pour exécuter des commandes de navigation, permettant ainsi aux chercheurs d’étudier le fonctionnement de leur logiciel pour un réglage précis. Peu de temps après, l’équipe espère ajouter des capacités de manipulation d’objets au logiciel.

“Ce travail constitue los angeles base de nombreux travaux que nous pouvons accomplir à l’avenir”, a déclaré Chenyu.