Un robotic succesful de détecter des bruits subtils dans son environnement et de l’utiliser pour localiser les personnes à proximité

Pour partager des espaces en toute sécurité avec les humains, les robots devraient idéalement être capables de détecter leur présence et de déterminer où ils se trouvent, afin d’éviter les injuries et les collisions. Jusqu’à présent, l. a. plupart des robots ont été formés pour localiser les humains à l’aide de tactics de imaginative and prescient par ordinateur, qui s’appuient sur des caméras ou d’autres capteurs visuels.

Une équipe de recherche de Georgia Tech a développé une méthode choice pour déterminer l’emplacement d’une personne qui s’appuie sur des sons subtils produits naturellement lors d’un déplacement dans un environnement donné. Cette méthode a été présentée dans un article publié précédemment sur arXivIl peut être appliqué à une huge gamme de systèmes robotiques.

“Notre groupe s’est récemment intéressé à l’exploration d’un sujet de recherche de haut niveau lié aux sorts d’informations” cachées “librement disponibles sur lesquelles nous pouvons former des modèles”, a déclaré Mingyu Yang, l’un des auteurs de l’article, à Tech Xplore. “Souvent en robotique, l. a. détection de l. a. voix humaine nécessite qu’une personne produise des sons parasites, comme parler ou applaudir. En nous appuyant sur ces intérêts, nous voulions voir si les sons subtils et fortuits que les humains émettent involontairement lorsqu’ils se déplacent pourraient être ce sign. ” Hourra”.

L. a. méthode de localisation vocale proposée par Yang et ses collègues est basée sur des algorithmes d’apprentissage automatique. Par conséquent, l’équipe a d’abord dû compiler un ensemble de données qui lui permettrait d’entraîner efficacement ses algorithmes.

L’ensemble de données qu’ils ont créé, appelé ensemble de données Robotic Kidnapper, contient 14 heures d’enregistrements audio à quatre canaux de haute qualité associés à des séquences de caméra 360 RVB. Ces enregistrements ont été collectés lors d’essais expérimentaux au cours desquels les sujets devaient se déplacer de différentes manières autour du robotic.

“Pour collecter l’ensemble de données, nous avons enregistré les individuals se déplaçant autour du robotic Stretch RE-1 à différents niveaux de” furtivité “(par exemple, marchant tranquillement, marchant normalement, and so forth.)”, a expliqué Yang. “Grâce à ces données, nous sommes en mesure de former des modèles d’apprentissage automatique qui prennent le son sous forme de spectrogrammes et prédisent s’il y a réellement une personne à proximité et, si c’est le cas, sa place par rapport au robotic.”

L. a. technologie d’apprentissage automatique développée par Yang et ses collègues a été formée pour déterminer l. a. localisation des humains uniquement sur l. a. base du son. Puisqu’il nécessite uniquement l’enregistrement du son avec des microphones, il peut théoriquement être implémenté sur n’importe quel robotic doté d’un microphone intégré.

Les chercheurs ont entraîné leur modèle à ignorer les bruits externes et non pertinents, tels que ceux des systèmes CVC, ainsi que les sons émis par le robotic lui-même. Lors des premiers assessments, ils ont testé leur technologie sur le robotic Stretch RE-1, un manipulateur robotique compact et peu coûteux développé par Hi Robotic.

“Nous pensons que notre méthode de détection humaine basée sur l’audio est importante pour développer des systèmes de détection humaine multimodaux qui résistent aux pannes”, a déclaré Yang. « Les robots utilisent généralement des caméras ou des lidars pour se déplacer autour des personnes, mais si ces capteurs tombent en panne ou deviennent indisponibles (environnements à faible luminosité, occlusions, and so forth.), notre méthode permet aux robots de s’appuyer uniquement sur le son, qui est généralement déjà disponible dans l. a. plupart des cas. Paramètres matériels. De plus, lors de l’interplay avec des robots, il ne faut pas s’attendre à ce que les gens génèrent intentionnellement des sons supplémentaires, sur lesquels s’appuient les travaux précédents.

Lors des premiers assessments sur le robotic Stretch RE-1, il a été démontré que l. a. technologie de l’équipe était deux fois plus performante que d’autres méthodes de localisation audio, permettant de localiser efficacement les humains à proximité sur l. a. seule base des sons produits par hasard lors de l. a. marche. Ces résultats mettent en évidence l. a. faisabilité de l. a. localisation audio, qui est hautement évolutive et moins intrusive que l. a. localisation par caméra.

“Nous pensons qu’il s’agit d’une amélioration par rapport aux travaux antérieurs sur l. a. détection vocale humaine, automotive notre méthode n’exige pas que l. a. personne produise des sons parasites que le robotic puisse entendre”, a déclaré Yang.

“Cela pourrait être utile pour les robots naviguant dans les espaces intérieurs partagés avec des personnes (robots domestiques, robots industriels, and so forth.), permettant ainsi de détecter de manière non intrusive où se trouvent les personnes. Tandis que les méthodes équipées d’une caméra pourraient capturer des caractéristiques d’identity telles que des visages ou des tatouages. Même si les méthodes audio qui obligent les gens à parler, par exemple, peuvent capturer leur voix, les données que nous utilisons pour l. a. détection humaine sont également difficiles à identifier.

À l’avenir, l. a. method de localisation humaine créée par Yang et ses collègues pourrait contribuer à améliorer l. a. sécurité et les performances des robots conçus pour collaborer étroitement avec les humains, tout en préservant l. a. vie privée de leurs utilisateurs. Ces travaux pourraient également inspirer d’autres groupes de recherche à créer d’autres méthodes de localisation pour des packages automatisées ou même liées à l. a. sécurité qui s’appuient sur des sons subtils.

“Nous avons collecté des données sur les personnes immobiles et en mouvement”, a ajouté Yang. “Bien que nos recherches actuelles se concentrent uniquement sur l. a. détection et l. a. localisation des personnes en mouvement, nous espérons que dans les travaux futurs, nous pourrons également détecter les personnes immobiles en utilisant uniquement le son, peut-être à partir des faibles bruits de leur breathing ou même de changements subtils dans leur breathing. .» Le bruit ambiant dans l. a. pièce est dû à leur présence.

© 2023 Réseau ScienceX