L’outil détecte le texte généré par l’IA dans les revues scientifiques

À une époque où le monde universitaire s’inquiète de plus en plus des articles générés par l’IA, des nouvelles rassurantes nous parviennent de l’Université du Kansas.

Les chercheurs ont développé un détecteur de texte alimenté par l’IA pour les articles scientifiques, succesful de faire los angeles difference entre le contenu écrit par l’homme et le contenu généré par ordinateur dans presque 100 % du temps.

Dans une étude parue le 6 novembre Rapports cellulaires Sciences physiquesLe professeur Heather Desir souligne que bien qu’il existe actuellement plusieurs détecteurs d’IA à contenu général, aucun d’entre eux n’est particulièrement efficace lorsqu’il est appliqué à des articles scientifiques.

“L. a. plupart des domaines de l’analyse de texte nécessitent un détecteur très général qui fonctionne sur n’importe quoi”, a déclaré Desir. Au lieu de cela, son équipe s’est concentrée sur des rapports rédigés spécifiquement pour des revues scientifiques sur le thème de los angeles chimie.

«Nous recherchions vraiment los angeles précision», a-t-elle déclaré.

Le détecteur de l’équipe a été formé sur des revues publiées par l’American Chemical Society. Ils ont collecté 100 passages d’creation rédigés par des spécialistes, puis ont programmé ChatGPT pour rédiger ses propres introductions basées sur des résumés de revues ou simplement sur des titres de rapports.

Lorsque le détecteur ChatGPT a examiné les trois catégories de rapports, il a identifié correctement les segments écrits par des humains dans 100 % des cas, ainsi que les rapports générés à partir de réclamations comprenant uniquement les titres des rapports. Les résultats étaient presque aussi bons avec des rapports basés sur des segments introductifs, avec une id correcte dans 98 % des cas.

Cependant, les classificateurs concurrents, tels que ZeroGPT, qui ont une précision allant jusqu’à 98 % pour détecter les articles généraux rédigés par l’IA, ont obtenu de mauvais résultats en ce qui concerne les rapports liés à los angeles chimie. Il a atteint une précision moyenne de seulement 37 % dans les mêmes rapports basés sur les titres, et seulement quelques issues de pourcentage de mieux dans les rapports basés sur un texte d’creation.

Le deuxième concurrent, OpenAI, a obtenu des résultats encore pires, ne parvenant pas à identifier correctement l’auteur des articles dans 80 % des cas en moyenne.

« Les éditeurs universitaires sont aux prises avec l’adoption rapide et généralisée de nouveaux générateurs de texte IA », a déclaré Desir. “Ce nouveau réactif permettra à los angeles communauté scientifique d’évaluer les fuites de ChatGPT dans les revues de chimie, de déterminer les conséquences de son utilisation et d’introduire rapidement des stratégies d’atténuation lorsque des problèmes surviennent.”

Les revues scientifiques réécrivent leurs règles concernant los angeles soumission d’articles, los angeles plupart interdisant les rapports générés par l’IA et exigeant los angeles divulgation de tout autre processus d’IA utilisé pour générer le rapport.

Desir a énuméré plusieurs préoccupations concernant les risks de l’infiltration de contenus générés par l’IA dans les revues scientifiques : “Sa surutilisation pourrait conduire à un flot de manuscrits de valeur marginale. Cela pourrait entraîner une surreprésentation des articles et des ouvrages très cités.” bien connu.” “, à ignorer.”

Elle a ajouté : “Ce qui est le plus inquiétant, c’est los angeles tendance de ces outils aux ‘hallucinations’ et à los angeles fabrication de faits incorrects.”

Par exemple, Need a inclus une anecdote personnelle sur les résultats d’une realize biographique que ChatGPT a écrite à son sujet. Elle a déclaré qu’elle “est diplômée de l’Université du Minnesota, est membre de los angeles Royal Society of Chemistry et a reçu los angeles médaille Beeman”. Des réalisations impressionnantes, mais toutes fausses.

“Même si cet exemple est drôle, infiltrer los angeles littérature scientifique avec des mensonges n’est pas du tout drôle”, a déclaré Desir.

Mais elle reste optimiste. Certains affirment que los angeles résistance à l’essor du contenu généré par l’IA est inévitable, dit-elle, et affirment que « développer des outils comme celui-ci participe à une route aux armements[contre l’IA]que les humains ne gagneront pas ».

Elle a déclaré que les éditeurs devraient prendre l’initiative de dénoncer los angeles contamination par l’IA.

“Les revues devraient prendre des mesures raisonnables pour s’assurer qu’elles respectent leurs politiques en matière d’écriture sur l’IA, et nous pensons qu’il est tout à fait conceivable de garder une longueur d’avance sur le problème de los angeles détection de l’IA”, a-t-elle déclaré.

© 2023 Réseau ScienceX