Les générateurs d’images IA produisent du matériel d’abus sexuel sur mineurs (CSAM)

Pourquoi les entreprises d’IA valorisées à des millions et des milliards de dollars créent-elles et distribuent-elles des outils capables de produire du matériel d’abus sexuel sur mineur (CSAM) généré par l’IA ?

Un générateur d’images appelé Stable Diffusion version 1.5, créé par la société d’intelligence artificielle Runway avec un financement de Stability AI, est particulièrement impliqué dans la production de matériel pédophile. Des plateformes populaires telles que Hugging Face et Civitai hébergent ce modèle et d’autres qui pourraient avoir été entraînés à partir d’images réelles d’abus sexuels sur mineurs. Dans certains cas, les entreprises peuvent même enfreindre la loi en hébergeant du matériel pédophile synthétique sur leurs serveurs. Et pourquoi des entreprises et des investisseurs traditionnels comme Google, Nvidia, Intel, Salesforce et Andreesen Horowitz injectent-ils des centaines de millions de dollars dans ces entreprises ? Leur soutien revient à subventionner du contenu destiné aux pédophiles.

En tant qu’experts en sécurité de l’IA, nous avons posé ces questions pour interpeller ces entreprises et les contraindre à prendre les mesures correctives que nous décrivons ci-dessous. Et nous sommes heureux aujourd’hui d’annoncer un triomphe majeur : apparemment en réponse à nos questions, la version 1.5 de Stable Diffusion a été supprimée de Hugging Face. Mais il reste encore beaucoup à faire, et des progrès significatifs pourraient nécessiter une législation.

L’ampleur du problème du CSAM

Les défenseurs de la sécurité des enfants ont commencé à tirer la sonnette d’alarme l’année dernière : des chercheurs de l’Observatoire Internet de Stanford et de l’association technologique à but non lucratif Thorn ont publié un rapport inquiétant en juin 2023. Ils ont découvert que des outils de génération d’images d’IA largement disponibles et « open source » étaient déjà utilisés à mauvais escient par des acteurs malveillants pour produire du matériel d’abus sexuel sur mineurs. Dans certains cas, des acteurs malveillants créaient leurs propres versions personnalisées de ces modèles (un processus connu sous le nom de « fine-tuning ») à partir de matériel d’abus sexuel sur mineurs réel pour générer des images sur mesure de victimes spécifiques.

En octobre dernier, un rapport de l’association britannique Internet Watch Foundation (qui gère une ligne d’assistance téléphonique pour les signalements de contenus pédopornographiques) a détaillé la facilité avec laquelle les acteurs malveillants parviennent désormais à créer à grande échelle des contenus pédopornographiques photoréalistes générés par l’IA. Les chercheurs ont inclus une étude « instantanée » d’un forum CSAM du dark web, analysant plus de 11 000 images générées par l’IA publiées sur une période d’un mois ; parmi celles-ci, près de 3 000 ont été jugées suffisamment graves pour être qualifiées de criminelles. Le rapport appelle à une surveillance réglementaire plus stricte des modèles d’IA génératrice.

Les modèles d’IA peuvent être utilisés pour créer ce matériel, car ils en ont déjà vu des exemples. Des chercheurs de Stanford ont découvert en décembre dernier que l’un des ensembles de données les plus importants utilisés pour former des modèles de génération d’images comprenait des milliers d’éléments CSAM. De nombreux générateurs d’images d’IA open source téléchargeables les plus populaires, notamment le modèle populaire Stable Diffusion version 1.5, ont été formés à l’aide de ces données. Cette version de Stable Diffusion a été créée par Runway, bien que Stability AI ait payé pour la puissance de calcul nécessaire à la production de l’ensemble de données et à la formation du modèle, et Stability AI a publié les versions suivantes.

Runway n’a pas répondu à une demande de commentaires. Un porte-parole de Stability AI a souligné que la société n’avait pas publié ni maintenu la version 1.5 de Stable Diffusion et a déclaré que la société avait « mis en place des mesures de protection solides » contre le CSAM dans les modèles ultérieurs, y compris l’utilisation d’ensembles de données filtrés pour la formation.

En décembre dernier, des chercheurs de la société d’analyse des médias sociaux Graphika ont découvert une prolifération de dizaines de services de « déshabillage », dont beaucoup reposent sur des générateurs d’images open source basés sur l’IA, dont Stable Diffusion. Ces services permettent aux utilisateurs de télécharger des photos habillées de personnes et de produire ce que les experts appellent des images intimes non consensuelles (NCII) de mineurs et d’adultes, parfois également appelées deepfake pornographie. Ces sites Web peuvent être facilement trouvés via des recherches Google, et les utilisateurs peuvent payer pour ces services en ligne avec des cartes de crédit. Beaucoup de ces services ne fonctionnent que pour les femmes et les filles, et ces types d’outils ont été utilisés pour cibler des célébrités féminines comme Taylor Swift et des politiciens comme la députée américaine Alexandria Ocasio-Cortez.

Les images d’abus sexuels sur mineurs générées par l’IA ont des effets réels. L’écosystème de la protection des enfants est déjà surchargé, avec des millions de fichiers d’abus sexuels présumés signalés aux lignes d’assistance chaque année. Tout ce qui vient s’ajouter à ce flot de contenu – en particulier les contenus d’abus photoréalistes – rend plus difficile la recherche d’enfants qui sont activement en danger. Pire encore, certains acteurs malveillants utilisent les images d’abus sexuels existantes pour générer des images synthétiques de ces survivants – une terrible violation de leurs droits. D’autres utilisent les applications de « nudification » facilement disponibles pour créer du contenu sexuel à partir d’images bénignes d’enfants réels, puis utilisent ce contenu nouvellement généré dans des stratagèmes d’extorsion sexuelle.

Une victoire contre les images CSAM générées par l’IA

D’après l’enquête de Stanford de décembre dernier, il est bien connu dans la communauté de l’IA que Stable Diffusion 1.5 a été formé sur des images d’abus sexuels sur mineurs, comme tous les autres modèles formés sur l’ensemble de données LAION-5B. Ces modèles sont activement utilisés à mauvais escient par des acteurs malveillants pour créer des images d’abus sexuels générées par l’IA. Et même lorsqu’ils sont utilisés pour générer des images plus bénignes, leur utilisation revictimise intrinsèquement les enfants dont les images d’abus ont été intégrées à leurs données d’entraînement. Nous avons donc demandé aux plateformes d’hébergement d’IA populaires Hugging Face et Civitai pourquoi elles hébergeaient Stable Diffusion 1.5 et des modèles dérivés, les rendant disponibles en téléchargement gratuit ?

Il convient de noter que Jeff Allen, un scientifique des données de l’Integrity Institute, a constaté que Stable Diffusion 1.5 a été téléchargé depuis Hugging Face plus de 6 millions de fois au cours du mois dernier, ce qui en fait le générateur d’images IA le plus populaire de la plateforme.

Lorsque nous avons demandé à Hugging Face pourquoi elle continuait d’héberger le modèle, la porte-parole de l’entreprise, Brigitte Tousignant, n’a pas répondu directement à la question, mais a plutôt déclaré que l’entreprise ne tolérait pas le CSAM sur sa plateforme, qu’elle intégrait une variété d’outils de sécurité et qu’elle encourageait la communauté à utiliser le modèle Safe Stable Diffusion qui identifie et supprime les images inappropriées.

Puis, hier, nous avons vérifié Hugging Face et avons constaté que Stable Diffusion 1.5 n’était plus disponible. Tousignant nous a dit que Hugging Face ne l’avait pas retiré et nous a suggéré de contacter Runway, ce que nous avons fait, encore une fois, mais nous n’avons pas encore reçu de réponse.

C’est sans aucun doute une réussite que ce modèle ne soit plus disponible en téléchargement sur Hugging Face. Malheureusement, il est toujours disponible sur Civitai, tout comme des centaines de modèles dérivés. Lorsque nous avons contacté Civitai, un porte-parole nous a dit qu’ils n’avaient aucune connaissance des données d’entraînement utilisées par Stable Diffusion 1.5 et qu’ils ne le retireraient que s’il y avait des preuves d’une utilisation abusive.

Les plateformes devraient s’inquiéter de leur responsabilité. La semaine dernière, Pavel Durov, PDG de l’application de messagerie Telegram, a été arrêté dans le cadre d’une enquête liée au matériel pédopornographique et à d’autres délits.

Que fait-on à propos des images CSAM générées par l’IA ?

Le flot incessant de rapports et d’informations inquiétants sur les contenus d’abus sexuels sur mineurs générés par l’IA et les contenus d’intolérance non autorisée (NCII) ne faiblit pas. Alors que certaines entreprises tentent d’améliorer la sécurité de leurs produits avec l’aide de la Tech Coalition, quels progrès avons-nous constatés sur ce problème plus large ?

En avril, Thorn et All Tech Is Human ont annoncé une initiative visant à réunir les principales entreprises technologiques, les développeurs d’IA générative, les plateformes d’hébergement de modèles et d’autres acteurs pour définir et s’engager à respecter les principes de sécurité dès la conception, qui placent la prévention des abus sexuels sur les enfants au cœur du processus de développement de produits. Dix entreprises (dont Amazon, Civitai, Google, Meta, Microsoft, OpenAI et Stability AI) se sont engagées à respecter ces principes, et plusieurs autres se sont jointes à eux pour co-rédiger un document connexe contenant des recommandations plus détaillées sur les mesures d’atténuation. Ces principes appellent les entreprises à développer, déployer et maintenir des modèles d’IA qui traitent de manière proactive des risques pour la sécurité des enfants ; à créer des systèmes garantissant que tout matériel d’abus produit soit détecté de manière fiable ; et à limiter la distribution des modèles et services sous-jacents utilisés pour produire ce matériel d’abus.

Ce type d’engagement volontaire est un début. Rebecca Portnoff, responsable de la science des données chez Thorn, explique que l’initiative cherche à responsabiliser les entreprises en leur demandant de publier des rapports sur leurs progrès dans les mesures d’atténuation. Elle collabore également avec des institutions de normalisation telles que l’IEEE et le NIST pour intégrer leurs efforts dans les normes nouvelles et existantes, ouvrant ainsi la porte à des audits par des tiers qui « dépasseraient le système d’honneur », explique Portnoff. Portnoff note également que Thorn collabore avec les décideurs politiques pour les aider à concevoir une législation qui serait à la fois techniquement réalisable et efficace. En effet, de nombreux experts estiment qu’il est temps d’aller au-delà des engagements volontaires.

Nous pensons qu’une course effrénée vers le bas est actuellement en cours dans le secteur de l’IA. Les entreprises se battent avec acharnement pour être techniquement en tête que beaucoup d’entre eux ignorent la éthique et peut-être même légal Les entreprises technologiques pourraient en prendre note si les gouvernements, dont l’Union européenne, ont progressé dans la réglementation de l’IA. Si les lois interdisaient par exemple la fourniture de systèmes d’IA capables de produire des images d’abus pédosexuels, elles pourraient en prendre note.

En réalité, si certaines entreprises respectent leurs engagements volontaires, beaucoup ne le feront pas. Et parmi celles qui le feront, beaucoup agiront trop lentement, soit parce qu’elles ne sont pas prêtes, soit parce qu’elles ont du mal à conserver leur avantage concurrentiel. Pendant ce temps, des acteurs malveillants se tourneront vers ces services et feront des ravages. Ce résultat est inacceptable.

Ce que les entreprises technologiques devraient faire à propos des contenus CSAM générés par l’IA

Les experts ont vu venir ce problème de loin, et les défenseurs de la sécurité des enfants ont recommandé des stratégies de bon sens pour le combattre. Si nous ratons cette occasion de faire quelque chose pour remédier à la situation, nous en porterons tous la responsabilité. Au minimum, toutes les entreprises, y compris celles qui publient des modèles open source, devraient être légalement tenues de respecter les engagements énoncés dans les principes Safety by Design de Thorn :

• Détectez, supprimez et signalez le CSAM de leurs ensembles de données de formation avant de former leurs modèles d’IA génératifs.
• Incorporez des filigranes robustes et systèmes de provenance du contenu dans leurs modèles d’IA génératifs afin que les images générées puissent être liées aux modèles qui les ont créées, comme l’exigerait un projet de loi californien qui créerait Normes de provenance du contenu numérique pour les entreprises qui font des affaires dans l’État. Le projet de loi sera probablement soumis à la signature espérée du gouverneur Gavin Newson dans le mois à venir.
• Supprimez de vos plateformes tous les modèles d’IA génératifs connus pour être formés sur des images d’abus sexuels sur mineurs ou capables de produire des images d’abus sexuels sur mineurs. Refusez de réhéberger ces modèles à moins qu’ils n’aient été entièrement reconstitués sans les images d’abus sexuels sur mineurs.
• Identifiez les modèles qui ont été intentionnellement peaufinés sur CSAM et supprimez-les définitivement de leurs plateformes.
• Supprimez les applications « nudifiantes » des magasins d’applications, bloquez les résultats de recherche pour ces outils et services et travaillez avec les fournisseurs de paiement pour bloquer les paiements à leurs créateurs.