Vous voulez une meilleure IA ? Obtenez l’avis d’un véritable knowledgeable (humain).

Peut-on faire confiance à l’intelligence artificielle ? Cette query se pose partout où l’IA est utilisée ou discutée, et elle est partout de nos jours.

C’est une query que même certains systèmes d’IA se posent.

De nombreux systèmes d’apprentissage automatique créent ce que les professionals appellent un « ranking de confiance », une valeur qui reflète le degré de confiance du système dans ses décisions. Un ranking faible indique à l’utilisateur humain qu’il existe une certaine incertitude quant à l. a. recommandation ; Un ranking élevé indique à l’utilisateur humain que le système est au moins sure de ses décisions. Les humains intelligents savent qu’il faut vérifier le ranking de confiance lorsqu’ils décident de faire confiance ou non à l. a. recommandation d’un système d’apprentissage automatique.

Des scientifiques du laboratoire nationwide du nord-ouest du Pacifique du ministère de l’Énergie ont introduit une nouvelle méthode d’évaluation des recommandations du système d’intelligence artificielle. Ils font participer des professionals humains pour démontrer les performances de l’apprentissage automatique sur un ensemble de données. L’knowledgeable apprend quels varieties de données le système d’apprentissage automatique classe généralement correctement et quels varieties de données conduisent à de l. a. confusion et à des erreurs système. Forts de ces connaissances, les professionals donnent ensuite leur niveau de confiance dans les futures recommandations du système.

Le résultat d’un humain regardant par-dessus l’épaule d’un système d’IA ? Les humains ont prédit avec plus de précision les performances du système d’IA.

L’effort humain minimum – quelques heures seulement – pour évaluer certaines des décisions prises par le programme d’IA a permis aux chercheurs d’améliorer considérablement l. a. capacité du programme d’IA à évaluer ses décisions. Dans certaines analyses de l’équipe, l. a. précision du ranking de confiance a doublé lorsqu’un humain a fourni le ranking.

L’équipe du PNNL a présenté ses résultats lors d’une récente réunion de l. a. Human Components and Ergonomie Society à Washington, D.C., dans le cadre d’une consultation sur le travail d’équipe entre les robots humanoïdes et l’intelligence artificielle.

“Si vous ne développez pas d’algorithme d’apprentissage automatique en premier lieu, cela peut ressembler à une boîte noire”, a déclaré Corey Fallon, auteur major de l’étude et knowledgeable en interplay homme-machine. “Dans certains cas, les décisions semblent bonnes. Dans d’autres cas, vous pouvez recevoir une recommandation vraiment surprenante. Vous ne comprenez peut-être pas pourquoi vous avez pris ces décisions.”

Réseaux et intelligence artificielle

C’est un dilemme auquel sont confrontés les ingénieurs électriciens qui travaillent avec le réseau électrique. Leurs décisions, basées sur une richesse de données qui changent à chaque quick, permettent à l. a. country de continuer à fonctionner. Cependant, les ingénieurs électriciens peuvent être réticents à confier le pouvoir de décision aux systèmes d’apprentissage automatique.

“Il existe des centaines d’articles de recherche sur l’utilisation de l’apprentissage automatique dans les systèmes énergétiques, mais presque aucun d’entre eux n’est appliqué dans le monde réel. De nombreux opérateurs ne font tout simplement pas confiance à l’apprentissage automatique. Ils possèdent une experience dans le domaine, ce que l’apprentissage automatique ne peut pas faire”, a-t-il déclaré. » a déclaré le co-auteur Tianzhixi « Tim » Yin.

Les chercheurs du PNNL, qui dispose d’une équipe mondiale travaillant sur l. a. modernisation du réseau, ont examiné de plus près un algorithme d’apprentissage automatique appliqué aux systèmes électriques. Ils ont entraîné l’algorithme SVM (Toughen Vector Device) sur des données réelles provenant de l’interconnexion orientale du réseau américain. Le programme a examiné 124 événements et a déterminé si le générateur fonctionnait mal ou si les données montraient d’autres varieties d’événements moins remarquables.

L’algorithme était fiable à 85 % dans ses décisions. De nombreuses erreurs se produisaient en cas de diversifications de puissance ou de changements de fréquence complexes. Les ratings de confiance générés avec un humain dans l. a. boucle représentaient une nette amélioration par rapport à l’évaluation de ses décisions par le système. L. a. contribution de l’knowledgeable humain a prédit les décisions de l’algorithme avec beaucoup plus de précision.

Un apprentissage automatique plus humain et meilleur

Fallon et Yin ont appelé le nouveau ranking le ranking « Professional Derived Self belief », ou ranking EDC.

Ils ont constaté qu’en moyenne, lorsque les humains évaluaient les données, leurs ratings EDC prédisaient le comportement du modèle, ce que les ratings de confiance de l’algorithme ne pouvaient pas prédire.

“L’knowledgeable humain comble les lacunes des connaissances en matière d’apprentissage automatique”, a déclaré Yin. « Les humains fournissent des informations que l’apprentissage automatique ne possède pas, et nous montrons que ces informations sont importantes. En fin de compte, nous avons montré que si vous ajoutez l’experience humaine aux résultats de l’apprentissage automatique, vous obtenez une bien meilleure confiance.

“C’est le sort de recherche nécessaire pour préparer et équiper une main-d’œuvre prête à l’IA”, a déclaré Fallon. “Si les gens ne font pas confiance à l’outil, vous perdez votre temps et votre argent. Vous devez savoir ce qui se passe lorsque vous prenez un modèle d’apprentissage automatique issu du laboratoire et que vous le mettez en pratique dans le monde réel.” .

“Je suis un grand fan de l’experience humaine et de l. a. collaboration homme-machine. Les résultats de l’EDC permettent à l’humain de mieux évaluer l. a. scenario et de prendre l. a. décision finale.”