Les chercheurs ont montré que ChatGPT et d’autres outils d’IA peuvent être manipulés pour produire du code malveillant.

Selon une étude de l’Université de Sheffield, les outils d’intelligence artificielle (IA) tels que ChatGPT peuvent être amenés à produire du code malveillant pouvant être utilisé pour lancer des cyberattaques.

L’étude, menée par des universitaires du département d’informatique de l’université, est los angeles première à démontrer que les systèmes text-to-SQL – une intelligence artificielle qui permet aux utilisateurs d’effectuer des recherches dans des bases de données en posant des questions en langage easy et qui est utilisé dans un huge éventail d’industries – peut être exploité pour attaquer… Des systèmes informatiques dans le monde réel.

Les résultats de los angeles recherche ont révélé remark les systèmes d’IA peuvent être manipulés pour contribuer à voler des informations personnelles sensibles, à falsifier ou à détruire des bases de données, ou à faire tomber des products and services par le biais d’attaques par déni de carrier.

Dans le cadre de l’étude, des universitaires de Sheffield ont découvert des vulnérabilités de sécurité dans six outils commerciaux d’IA et ont réussi à les attaquer chacun d’eux.

Les outils d’IA qu’ils ont étudiés sont :

• BAIDU-UNIT – Los angeles principale plateforme de discussion intelligente de Chine, adoptée par des shoppers de premier plan dans de nombreux secteurs, notamment le trade électronique, los angeles banque, le journalisme, les télécommunications, l’automotive et l’aviation civile.
• ChatGPT
• AI2SQL
• AIHELPERBOT
• Texte2SQL
• Toulsky

Les chercheurs ont découvert que s’ils posaient des questions spécifiques à chacun des systèmes d’IA, ils produisaient du code malveillant. Une fois exécuté, le code peut divulguer des informations confidentielles de los angeles base de données, interrompre le carrier commonplace de los angeles base de données ou même los angeles détruire. Dans Baidu-UNIT, les scientifiques ont pu obtenir des configurations secrètes du serveur Baidu et désactiver un nœud de serveur.

Shutan Ping, Ph.D. Un étudiant de l’Université de Sheffield, qui a codirigé los angeles recherche, a déclaré : « En réalité, de nombreuses entreprises ne sont tout simplement pas conscientes de ce sort de menaces, et compte tenu de los angeles complexité des chatbots, même au sein de los angeles communauté, certaines choses sont problématiques. pas entièrement compris.

“À l’heure actuelle, ChatGPT retient beaucoup d’consideration. Il est indépendant du système, donc le risque pour le carrier lui-même est minime, mais ce que nous avons découvert, c’est qu’il peut être amené à produire du code malveillant inclined de nuire gravement à d’autres products and services. ”

Les résultats de l’étude mettent également en évidence les risques liés à los angeles manière dont les gens utilisent l’intelligence artificielle pour apprendre les langages de programmation afin de pouvoir interagir avec les bases de données.

Xutan Peng a ajouté : “Le threat avec les systèmes d’IA comme ChatGPT est que de plus en plus de personnes les utilisent comme outils de productivité, plutôt que comme chatbots, et c’est là que nos recherches montrent les faiblesses. Par exemple, une infirmière pourrait demander à ChatGPT de saisir un message. commande SQL afin qu’ils puissent interagir avec une base de données, telle que celle qui stocke les dossiers cliniques. Comme le montre notre étude, le code SQL produit par ChatGPT dans de nombreux cas peut être nocif pour los angeles base de données, donc l’infirmière dans ce scénario peut causer de graves erreurs dans los angeles gestion des données, même sans recevoir d’avertissement.”

Dans le cadre de l’étude, l’équipe de Sheffield a également découvert qu’il est imaginable de lancer des attaques back-end simples, comme l’implantation d’un « cheval de Troie » dans des modèles texte-vers-SQL en empoisonnant les données d’entraînement. Une telle attaque back-end n’affectera pas les performances globales du modèle, mais elle peut être déclenchée à tout second et causer de réels dommages à quiconque l’utilise.

Le Dr Mark Stephenson, maître de conférences au sein du groupe de recherche sur le traitement du langage naturel de l’université de Sheffield, a déclaré : “Les utilisateurs de systèmes texte-SQL doivent être conscients des risques potentiels mis en évidence dans ces travaux. Les grands modèles de langage, tels que ceux utilisés dans… “Les systèmes Textual content-to-SQL sont très puissants mais leur comportement est complexe et peut être difficile à prédire. À l’Université de Sheffield, nous travaillons actuellement à mieux comprendre ces modèles et à permettre d’atteindre leur plein potentiel en toute sécurité. “.

Les chercheurs de Sheffield ont présenté leur article à l’ISSRE – une conférence universitaire et industrielle majeure sur le génie logiciel plus tôt ce mois-ci – et travaillent avec les events prenantes de los angeles communauté de los angeles cybersécurité pour remédier aux vulnérabilités, alors que les systèmes texte-vers-SQL continuent d’être plus largement utilisés partout dans le monde. société.

Leur travail a déjà été reconnu par Baidu, dont le Safety Reaction Heart classe officiellement les vulnérabilités comme « à haut risque ». En réponse, los angeles société a corrigé toutes les vulnérabilités signalées et récompensé financièrement les scientifiques.

Les chercheurs de Sheffield ont également partagé leurs découvertes avec OpenAI, qui a résolu tous les problèmes spécifiques découverts avec ChatGPT en février 2023.

Les chercheurs espèrent que les vulnérabilités qu’ils ont découvertes serviront de preuve de idea et, à terme, de cri de ralliement pour les communautés de traitement du langage naturel et de cybersécurité afin d’identifier et de résoudre les problèmes de sécurité qui ont été négligés jusqu’à présent.

Xutan Peng a ajouté : “Nos efforts ont été reconnus par l’industrie et ils suivent nos conseils pour corriger ces failles de sécurité. Cependant, nous ouvrons los angeles porte à un chemin sans fin – ce que nous devons voir maintenant, ce sont de grands groupes de chercheurs. créer et tester des correctifs pour réduire les risques de sécurité. » Grâce aux communautés open supply.

« Les attaquants développeront toujours des stratégies plus avancées, ce qui signifie que les stratégies de sécurité doivent suivre le rythme. Pour ce faire, nous avons besoin d’une nouvelle communauté pour lutter contre les attaques de nouvelle génération. »

Le record est publié le arXiv Serveur d’influence avancé.