Exemples d’photographs générées par des modèles SD-XL propres (non empoisonnés) et empoisonnés avec différents nombres de données sur l’empoisonnement. L’effet de l’attaque apparaît à partir de 1000 échantillons empoisonnés, mais pas à partir de 500 échantillons. crédit: arXiv (2023). est ce que je: 10.48550/arxiv.2310.13828
Les artistes qui sont restés impuissants alors que leurs œuvres en ligne restent prêtes à être récupérées sans autorisation grâce au internet scraping de l’IA peuvent enfin riposter.
Des chercheurs de l’Université de Chicago ont annoncé le développement d’un outil « d’empoisonnement » graphique que les sociétés d’intelligence artificielle ont utilisé pour entraîner des modèles de génération d’photographs. L’outil, Nightshade, traite les pixels de l’symbol qui modifieront le résultat pendant l’entraînement. Les adjustments ne sont pas visibles à l’œil nu avant traitement.
Nightshade peut déformer les données de sorte que les photographs de chiens, par exemple, soient converties en chats au second de l’entraînement, a déclaré Ben Zhao, auteur d’un article intitulé “Attaques d’empoisonnement spécifiques rapides sur des modèles génératifs de texte à symbol”. Dans d’autres cas, des photographs de voitures ont été transformées en voitures et des chapeaux en gâteaux. L’ouvrage est publié sur arXiv Serveur d’affect avancé.
“Un nombre modéré d’attaques Nightshade peuvent déstabiliser les fonctionnalités globales du modèle génératif de texte en symbol, désactivant ainsi sa capacité à créer des photographs significatives”, a déclaré Zhao.
Il a décrit l. a. création de son équipe comme « l. a. dernière défense des créateurs de contenu contre les internet scrapers qui ignorent les directives de désinscription/ne pas explorer ».
Les artistes s’inquiètent depuis longtemps des sociétés comme Google, OpenAI, Balance AI et Meta, qui collectent des milliards d’photographs en ligne pour les utiliser dans l. a. formation d’ensembles de données destinés à des outils lucratifs de génération d’photographs, tout en ne parvenant pas à fournir une repayment aux créateurs.
De telles pratiques ont « aspiré l. a. créativité de thousands and thousands d’artistes », a déclaré Eva Tourennent, conseillère auprès de l’Union européenne pour l. a. réglementation de l’intelligence artificielle aux Can pay-Bas.
«C’est absolument terrifiant», a-t-elle déclaré lors d’une récente interview.
L’équipe de Zhao a démontré que malgré l. a. croyance commune selon laquelle l. a. désactivation des grattoirs nécessiterait le téléchargement d’énormes quantités d’photographs modifiées, ils ont réussi à l. a. désactiver en utilisant moins de 100 échantillons « empoisonnés ». Ils y sont parvenus en utilisant des attaques d’empoisonnement rapides spécifiques qui nécessitent beaucoup moins d’échantillons qu’un ensemble de données d’entraînement classique.
Chow considère Nightshade comme un outil utile non seulement pour les artistes individuels mais également pour les grandes entreprises, telles que les studios de cinéma et les développeurs de jeux.
“Par exemple, Disney pourrait appliquer Nightshade à ses photographs imprimées pour Cendrillon, tout en se coordonnant avec d’autres sur les ideas Venom pour Mermaid”, a déclaré Zhao.
Nightshade peut également changer les types artistiques. Par exemple, une invite demandant de créer une symbol dans le taste baroque peut donner lieu à des photographs dans le taste cubiste.
L’outil apparaît dans un contexte d’opposition croissante aux sociétés d’intelligence artificielle qui s’approprient le contenu Internet dans le cadre de ce que les entreprises considèrent comme autorisé par les règles d’utilisation équitable. Des poursuites ont été intentées contre Google et OpenAI de Microsoft l’été dernier, accusant les géants de l. a. technologie d’utiliser de manière inappropriée du matériel protégé par le droit d’auteur pour entraîner leurs systèmes d’IA.
“Google ne possède pas Web, ne possède pas nos œuvres créatives, ne possède pas nos expressions de personnalité, les pictures de nos familles et de nos enfants, ou quoi que ce soit d’autre simplement parce que nous les partageons en ligne”, a déclaré l’avocat des plaignants. Ryan Clarkson. Si elles sont reconnues coupables, les entreprises devront payer des milliards d’amendes.
Google cherche à faire rejeter le procès, déclarant dans des paperwork judiciaires que “l’utilisation d’informations accessibles au public à des fins d’apprentissage ne constitue pas un vol, ni une atteinte à l. a. vie privée, un transfert, une négligence, une concurrence déloyale ou une violation du droit d’auteur”.
Selon Torrenent, Nightshade « fera réfléchir[les entreprises d’IA]à deux fois, automotive il a le potentiel de détruire l’intégralité de leur modèle en prenant notre travail sans notre consentement ».
Plus d’knowledge:
Xun Shan et al., Attaques d’empoisonnement spécifiques rapides sur des modèles génératifs de texte en symbol, arXiv (2023). est ce que je: 10.48550/arxiv.2310.13828
arXiv
© 2023 Réseau ScienceX
l. a. quotation: L’outil Vandal utilise des grattoirs d’photographs AI (25 octobre 2023) Récupéré le 29 octobre 2023 sur
Ce record est soumis au droit d’auteur. Nonobstant toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre informatif uniquement.