Les joueurs aident à mettre en évidence les divergences dans les données de l’algorithme

The Witcher est-il immersif ? Les Sims sont-ils un jeu de rôle ?

Les joueurs du monde entier peuvent avoir des evaluations différentes, mais cette diversité d’idées conduit à de meilleurs algorithmes qui aident le public du monde entier à choisir les bons jeux, selon une nouvelle étude de Cornell, Xbox et Microsoft Analysis.

Avec l’aide de plus de 5 000 joueurs, les chercheurs ont montré que les modèles prédictifs, alimentés par d’énormes ensembles de données décrits par des joueurs de différents can pay, fournissent de meilleures recommandations de jeu personnalisées que celles décrites par les joueurs d’un seul can pay.

Les découvertes de l’équipe et les lignes directrices correspondantes ont une huge utility au-delà du jeu pour les chercheurs et les praticiens recherchant une classification des données plus universellement acceptable et, par conséquent, des modèles d’intelligence artificielle (IA) prédictifs plus précis.

“Nous avons montré qu’en fait, vous pouvez faire aussi bien, sinon mieux, en diversifiant les données sous-jacentes utilisées dans les modèles prédictifs”, a déclaré Allison Koenke, professeur adjoint de sciences de l’knowledge au Ann S. Powers School of Cornell. L’informatique. et les sciences de l’knowledge.

Koencke est l’auteur main de « A Pass-Cultural Consistency Audit of Human Annotated Labels for Recommender Methods », qui a été présenté lors de los angeles conférence de l’Affiliation for Computing Equipment Equity, Duty, and Transparency (ACM FAccT) en juin.

Les ensembles de données volumineuses éclairent les modèles prédictifs derrière les systèmes de recommandation. Los angeles précision du modèle dépend de ses données de base, notamment de los angeles classification appropriée de chaque pièce individuelle au sein de cet immense trésor. Les chercheurs et les praticiens se tournent de plus en plus vers les travailleurs du crowdsourcing pour effectuer cette classification à leur position, mais los angeles main-d’œuvre du crowdsourcing a tendance à être homogène.

C’est au cours de cette section de désagrégation des données, a déclaré Koenicki, que les préjugés culturels peuvent s’infiltrer et, en fin de compte, fausser le modèle prédictif destiné à servir un public mondial.

“Pour les ensembles de données utilisés dans les processus algorithmiques, quelqu’un doit encore proposer soit des règles, soit simplement une idée générale de ce que signifie étiqueter un level de données d’une manière ou d’une autre”, a déclaré Koenicki. “C’est là que l’side humain entre en jeu, automotive les humains doivent être les décideurs à un second donné de ce processus.”

L’équipe a interrogé 5 174 joueurs Xbox du monde entier pour les aider à classer les titres de jeux. Il leur a été demandé de placer des étiquettes telles que « relaxant », « fantastique » ou « paisible » sur les jeux auxquels ils jouaient, et de prendre en compte divers facteurs, tels que si le titre était peu ou très complexe, ou los angeles difficulté des contrôles du jeu. étaient.

Certaines étiquettes de jeux – comme « zen », qui est utilisé pour décrire des jeux paisibles et apaisants – ont été appliquées de manière cohérente dans tous les can pay ; D’autres éléments, comme los angeles possibilité de savoir si le jeu est « rejouable », ont été mis en œuvre de manière incohérente. Pour expliquer ces écarts, l’équipe a utilisé des méthodes algorithmiques pour constater que les différences culturelles entre les joueurs et les bizarreries traductionnelles et linguistiques de certaines évaluations contribuaient aux différences d’évaluation entre les can pay.

Ensuite, les chercheurs ont construit deux modèles capables de prédire remark les joueurs de chaque can pay évalueraient un jeu donné. L’un était alimenté par des données d’enquête auprès de joueurs représentant le monde entier, tandis que le 2nd utilisait uniquement des données d’enquête auprès de joueurs américains. Ils ont découvert qu’un modèle formé sur des autocollants provenant de diverses populations du monde entier améliorait les prédictions de 8 % pour les joueurs du monde entier, par rapport à un modèle formé sur des autocollants provenant uniquement de joueurs américains.

“Nous constatons une amélioration pour tout le monde – même pour les joueurs des États-Unis – lorsque les données d’entraînement ne sont plus entièrement basées aux États-Unis mais sont plus représentatives à l’échelle mondiale”, a déclaré Koenicki.

En plus de leurs découvertes, les chercheurs ont formulé un cadre pour guider leurs collègues chercheurs et praticiens sur les moyens d’examiner les étiquettes de données de base afin de vérifier l’inclusivité mondiale.

“Les entreprises ont tendance à utiliser des classificateurs de données monolithiques pour effectuer leur classification des données, et si vous essayez de créer un produit mondial, vous allez rencontrer des problèmes”, a déclaré Koenicki. “Grâce à notre cadre, tout chercheur ou praticien universitaire peut examiner ses données sous-jacentes pour voir s’il peut rencontrer des problèmes de représentation by means of des étiquettes ou des choix de données.”