Un chercheur développe un filtre pour traiter les pictures « dangereuses » générées par l’intelligence artificielle

Au cours de los angeles dernière année, les générateurs d’pictures basés sur l’IA ont connu une popularité sans précédent. En quelques clics, toutes sortes d’pictures peuvent être créées : même des pictures inhumaines et des mèmes haineux peuvent être inclus. Le chercheur du CISPA, Yiting Qu, de l’équipe professorale du CISPA, le Dr Yang Zhang, a étudié los angeles share de ces pictures parmi les générateurs d’pictures d’IA les plus populaires et remark leur création peut être empêchée à l’aide de filtres efficaces.

Son article, « Unsafe Diffusion : At the Technology of Unsafe Photographs and Hateful Memes from Textual content-to-Symbol Fashions », est disponible à l’adresse suivante : arXiv Preprint Server et sera bientôt présenté à los angeles conférence ACM sur los angeles sécurité informatique et des communications.

Aujourd’hui, lorsque les gens parlent de générateurs d’pictures basés sur l’IA, ils parlent souvent de ce qu’on appelle les modèles texte-image. Cela signifie que les utilisateurs peuvent générer une picture numérique en saisissant certaines informations textuelles dans un modèle d’IA. Le kind de saisie de texte détermine non seulement le contenu de l’picture, mais également le taste. Plus les helps de formation sur le générateur d’pictures IA sont complets, plus les capacités de génération d’pictures des utilisateurs sont grandes.

Certains des générateurs les plus connus pour convertir du texte en picture sont Strong Diffusion, Latent Diffusion ou DALL·E. “Les gens utilisent ces outils d’IA pour dessiner toutes sortes d’pictures”, explique Yiting Zhou, chercheur au CISPA. “Cependant, j’ai constaté que certains utilisent également ces outils pour créer des pictures pornographiques ou dérangeantes, par exemple. Les modèles texte-image comportent donc des risques.” Elle ajoute que cela devient particulièrement problématique lorsque ces pictures sont partagées sur de grandes plateformes, où elles circulent largement.

Le thought d’« pictures dangereuses »

Le fait que les générateurs d’pictures basés sur l’IA puissent générer des pictures au contenu inhumain ou pornographique avec des directions simples est qualifié d’« pictures dangereuses » par Zhou et ses collègues. “Actuellement, il n’existe pas de définition universelle dans los angeles communauté des chercheurs de ce qui constitue ou non une picture dangereuse. Par conséquent, nous avons adopté une approche basée sur les données pour définir ce que sont les pictures dangereuses”, explique Zhou.

«Pour notre analyse, nous avons créé des milliers d’pictures à l’aide de los angeles diffusion solid», poursuit-elle. “Ensuite, nous les avons regroupés et classés en différents groupes en fonction de leur signification. Les cinq premiers groupes comprennent des pictures au contenu sexuellement explicite, violent, dérangeant, haineux et politique.”

Pour déterminer à quel level les générateurs d’pictures d’IA qui génèrent des pictures de haine sont concrètement dangereux, Zhou et ses collègues ont ensuite alimenté quatre des générateurs d’pictures d’IA les plus populaires, Strong Diffusion, Lent Diffusion, DALL E 2 et DALL E mini, avec des combinaisons spécifiques de Des centaines de saisies de texte appelées invitations. Les ensembles de textes provenaient de deux assets : los angeles plateforme en ligne 4chan, populaire dans les milieux d’extrême droite, et le website Lexica.

“Nous avons choisi ces deux éléments automobile ils ont été utilisés dans des travaux antérieurs pour enquêter sur des contenus en ligne dangereux”, explique Zhou. L’objectif était de savoir si les générateurs d’pictures produisaient des « pictures dangereuses » à partir de ces allégations. Sur les quatre générateurs, 14,56 % de toutes les pictures générées entraient dans los angeles catégorie « pictures dangereuses ». À 18,92 %, il s’agit du pourcentage le plus élevé pour le unfold solid.

Les fonctions de filtrage empêchent los angeles création d’pictures

Une façon d’empêcher los angeles propagation d’pictures déshumanisantes consiste à programmer les générateurs d’pictures de l’IA afin qu’ils ne génèrent pas ces pictures en premier lieu ou ne les produisent pas. “Je peux utiliser l’exemple de los angeles diffusion en régime everlasting pour expliquer remark cela fonctionne”, explique Zhou. “Vous pouvez définir plusieurs mots dangereux, comme los angeles nudité. Ensuite, lorsque vous créez une picture, los angeles distance entre l’picture et le mot défini comme dangereux, comme los angeles nudité, est calculée. Si cette distance est inférieure au seuil, l’picture est supprimé et remplacé par un champ de couleur noire. ”

Le fait qu’autant d’pictures incertaines aient été générées dans l’étude de Zhu sur los angeles diffusion solid montre que les filtres existants ne font pas leur travail de manière adéquate. Los angeles chercheuse a donc développé son propre filtre, qui enregistre en comparaison un taux de réussite beaucoup plus élevé.

Cependant, empêcher los angeles génération d’pictures n’est pas los angeles seule choice, comme l’explique Zhu : “Nous proposons trois traitements de traçabilité de los angeles chaîne d’approvisionnement pour les modèles texte-image. Premièrement, les développeurs doivent organiser les données de formation dans los angeles segment de formation ou de réglage fin, c’est-à-dire , réduisez le nombre d’pictures insatisfaisantes. » « Confirmé. » Elle a expliqué que cela était dû au fait que les « pictures dangereuses » dans les données de formation étaient los angeles principale raison pour laquelle le modèle présentait des risques par los angeles suite.

“Une deuxième motion pour les développeurs de formulaires consiste à rationaliser les invitations de saisie des utilisateurs, telles que los angeles suppression des mots-clés dangereux.” Los angeles troisième possibilité concerne los angeles e-newsletter après los angeles création des pictures : « Si des pictures dangereuses sont effectivement créées, il devrait y avoir un moyen de classer et de supprimer ces pictures en ligne », ajoute Zhou.

Pour ces derniers, à leur excursion, des fonctions de filtrage seront nécessaires pour les plateformes sur lesquelles ces pictures circulent. Avec toutes ces mesures, le défi est de trouver le bon équilibre. “Il doit y avoir un compromis entre liberté et sécurité du contenu. Mais lorsqu’il s’agit d’empêcher que ces pictures ne se propagent largement sur les principales plateformes, je pense qu’une réglementation stricte est logique”, a déclaré le chercheur du CISPA. Chu espère utiliser ses recherches pour contribuer à réduire le nombre d’pictures nuisibles circulant en ligne à l’avenir.

Fourni par le Centre CISPA Helmholtz pour los angeles sécurité de l’data