Les résultats de recherche d'images Google affichent des images de célébrités générées par l'IA et dirigent les utilisateurs vers des sites qui hébergent des célébrités nues générées par l'IA et conçues pour ressembler à des enfants.
La recherche d'images Google propose aux utilisateurs des images de célébrités en maillot de bain générées par l'IA et n'indique pas que les images sont générées par l'IA. Dans quelques cas, même lorsque les termes de recherche ne le demandent pas explicitement, la recherche d'images Google propose des images générées par l'IA de célébrités en maillot de bain, mais les célébrités sont faites pour ressembler à des enfants mineurs. Si les utilisateurs cliquent sur ces images, ils sont redirigés vers des sites de génération d'images IA et, dans quelques cas, les moteurs de recommandation de ces sites conduisent les utilisateurs vers des images nues non consensuelles générées par l'IA et des images nues générées par l'IA de célébrités ressemblant à des enfants. .
Cette nouvelle est un autre exemple de la façon dont les outils que les gens utilisent pour naviguer sur Internet depuis des décennies sont submergés par le flot de contenu généré par l'IA, même lorsqu'ils ne le demandent pas, et qui utilisent presque exclusivement le travail ou l'image des gens sans leur consentement. Parfois, le déluge de contenu IA rend difficile pour les utilisateurs de faire la différence entre ce qui est réel et ce qui est généré par l’IA.
J'ai découvert que la recherche d'images Google faisait cela complètement par accident. Jason racontait son histoire sur la façon dont les pages de fans de Taylor Swift et d'autres célébrités sur Facebook avaient été envahies par des images de bestialité et d'escroqueries et nous essayions de vérifier si une image de Taylor Swift tirant la langue avait été générée ou modifiée par l'IA. Pour le trouver, j'ai tapé le terme de recherche « lunettes de soleil de plage Taylor Swift avec langue sortie », ce qui a fait apparaître quelques images générées par l'IA dans l'onglet de recherche d'images de Google. L’une, tirée d’une page Pinterest japonaise qui comprenait un certain nombre d’autres images de Swift générées par l’IA, semblait assez réaliste. L’autre, extrait d’un site de génération d’images IA appelé Neural Love, comprenait un certain nombre de déformations typiques générées par l’IA et était clairement faux.
Étant donné que les deux résultats se trouvaient sur la première page (l'image générée par l'IA de Swift dans la voiture est actuellement le troisième résultat), je voulais vérifier si l'image Google recherchant des noms de célébrités plus le terme « maillot de bain » ou « bikini » tournerait systématiquement. des images générées par l’IA. Dans l'ensemble, j'ai testé cette méthode avec 13 noms de célébrités féminines, dont certaines des personnes les plus célèbres de la planète et des YouTubeuses et Twitch Streamers moins connues, et chaque recherche d'images Google a indexé leurs images générées par l'IA, même si le terme de recherche l'a fait. n’inclut pas « IA ».
Une recherche de deux célébrités a également révélé des images générées par l'IA d'eux en maillot de bain, mais alors qu'ils étaient enfants, même si la recherche n'incluait pas de termes liés à l'âge.
"Nos systèmes automatisés visent à afficher les images les plus pertinentes et de la plus haute qualité pour les milliards de requêtes que nous recevons chaque jour", m'a expliqué un porte-parole de Google dans un e-mail. « Compte tenu de l'ampleur du Web ouvert, il arrive parfois que nos systèmes de classement fassent apparaître un contenu Web pertinent qui ne répond malheureusement pas à nos normes de qualité. Nous utilisons ces instances pour éclairer les améliorations globales, alors que nous continuons à donner la priorité aux efforts visant à empêcher le contenu de mauvaise qualité – y compris le contenu généré par l’IA de mauvaise qualité – d’apparaître en bonne place dans la recherche.
Le porte-parole a déclaré que la recherche Google indexe des centaines de milliards de pages et d'images sur le Web et que, même s'il existe des outils permettant d'identifier de manière fiable les images générées par l'IA à cette échelle, ils en sont à leurs balbutiements et ne sont pas infaillibles. Le porte-parole a indiqué que Google pourrait faire un meilleur travail en étiquetant les images d'IA créées avec son propre générateur, comme détaillé dans le blog de cette entreprise .
Google n'a pas répondu aux questions spécifiques sur les raisons pour lesquelles il faisait apparaître le contenu généré par l'IA dans les résultats de recherche, et nous ne pouvons pas dire avec certitude ce qui se passe, mais il est facile d'imaginer pourquoi des « systèmes automatisés » feraient apparaître ces images. Les images sont toujours étiquetées avec les noms des célébrités et des termes supplémentaires tels que « bikini », « maillot de bain » ou « maillot de bain ». Étant donné que ces images proviennent de sites de génération d’images IA, elles incluent souvent également les invites textuelles qui les ont créées, fournissant une sorte d’annotation détaillée du contenu de l’image. Enfin, ces sites de génération d'images IA sont populaires, et il est facile d'imaginer que les gens cliquent sur des photographies inédites de Taylor Swift en maillot de bain (parce que ce n'est pas réel), ce qui pourrait éventuellement les faire monter plus haut dans les résultats de recherche.
En cliquant sur l'une de ces images dans les résultats de recherche d'images Google, les utilisateurs sont dirigés vers ces sites de génération d'images IA, qui leur présentent des dizaines d'images similaires générées par l'IA. Par exemple, lorsque j'ai cliqué sur une image générée par l'IA d'une célébrité en maillot de bain ressemblant à un enfant, j'ai été redirigé vers Playground.com, un site de génération d'images IA, qui m'a présenté des dizaines d'images supplémentaires de la même célébrité. sous forme d'enfant, en maillot de bain, ainsi que des dizaines d'autres images générées par l'IA d'enfants en maillot de bain. Certaines images étaient intitulées « [nom de la célébrité] sur l'île d'Epstein en bikini », faisant référence à Little Saint James, une île privée appartenant à Jeffery Epstein où il a été accusé de trafic et d'agression sexuelle d'enfants.
En cliquant sur une autre image générée par l'IA d'une célébrité ressemblant à un enfant en maillot de bain, les utilisateurs sont dirigés vers un site appelé sdxlturbo.ai. Sous cette image se trouvent un certain nombre d’autres images d’enfants célébrités en maillot de bain, ainsi que quelques images générées par l’IA de célébrités seins nus conçues pour ressembler à des enfants. L'invite qui a généré l'une de ces images est la suivante : "[nom de la célébrité] à 8 ans, abdominaux très musclés, montrant son ventre, se baignant."
Compte tenu du fonctionnement du moteur de recommandation sur ces sites de génération d’images IA, cliquer sur l’une de ces images envoie les utilisateurs dans un terrier de lapin avec plus d’images du même type. Les résultats rappellent également que les CSAM générés par l'IA ne sont pas produits et partagés uniquement sur le dark web ou d'autres coins d'Internet difficiles d'accès, mais sont facilement accessibles sur les outils et plateformes d'IA, malgré les politiques de ces plateformes, et sont simplement accessibles. à quelques clics d'une recherche Google.
Les images de célébrités générées par l'IA qui apparaissent dans les résultats de recherche Google ont tendance à provenir d'une poignée de sites de génération d'images IA : Lexica, Neural Love, Prompt Hunt, Night Cafe, et également Deviantart, qui ne dispose pas d'outil de génération d'images mais où les gens hébergent des images générées par l’IA. Les politiques de contenu de ces sites, dans les cas où j'ai pu les trouver, varient, mais interdisent généralement la pornographie non consensuelle et le CSAM. Cela ne signifie pas que les politiques sont parfaitement appliquées.
Playground, par exemple, qui héberge actuellement plusieurs images générées par l'IA de célébrités enfants en maillot de bain sur « l'île d'Epstein », a une politique de contenu qui répertorie « le contenu représentant des enfants d'une manière qui encourage ou favorise leur attirance ou leur sexualisation » comme « utilisation inacceptable ».
"Si vous avez des doutes sur le contenu de cette catégorie, vous devez vous abstenir", indique la page de politique de contenu de Playground . "Une ligne claire parfaite n'existe pas, donc pour tout ce qui se trouve dans la zone grise, nous modérerons de manière conservatrice. À titre indicatif : une jeune fille/un garçon/un adolescent en bikini/soutien-gorge/sous-vêtements est problématique (c'est encore pire si vous incitez négativement les vêtements) Il est peu probable que tout ce qui est « bombé » soit acceptable ; et le fait de demander « dix-huit » ne le rend pas nécessairement acceptable.
Je n'ai pas trouvé de page de politique de contenu sdxlturbo.ai, qui héberge actuellement des images de célébrités nues générées par l'IA et faites pour ressembler à des enfants, ou Lexica, où une recherche rapide a révélé un nu non consensuel d'une célébrité généré par l'IA.
Dans l’ensemble, j’ai vu Google extraire des images de célébrités générées par l’IA à partir de 11 sites différents de génération d’images par l’IA. Lexica et sdxlturbo.ai n'ont pas répondu à une demande de commentaire.
Le porte-parole de Google a déclaré qu'en plus de ses obligations légales, Google avait des politiques de produits qui dictent le moment où il supprimera le contenu des résultats de recherche. Google affirme qu'il bloque les résultats de recherche qui mènent à des images d'abus sexuels sur des enfants ou à du matériel qui semble victimiser, mettre en danger ou exploiter d'une autre manière des enfants. Le porte-parole de Google a déclaré que la société n'était pas en mesure de commenter les mesures prises contre des sites spécifiques, mais je n'ai remarqué aucun des sites mentionnés dans cet article bloqué des résultats de recherche après les avoir signalés à Google.
404 Media a passé l’année dernière à rendre compte de la manière dont l’IA, et en particulier les images générées par l’IA, ont inondé Internet. Jason a écrit plusieurs articles sur la façon dont le slop généré par l'IA a zombifié Facebook, et je me suis concentré sur quelques sites de génération d'images comme Mage.Space , Tensor.Art (qui apparaît également dans les résultats de recherche d'images Google), et surtout Civitai , qui est une ressource cruciale pour la scène de génération d’images IA car elle héberge également des modèles de génération d’images personnalisés. Cependant, il ne s’agit là que d’une fraction d’une industrie en croissance rapide de sites de génération d’images IA qui inondent et submergent Internet. Nous avons vu comment ces images générées par l'IA ont complètement changé Facebook, et comme le contenu pour adultes est souvent un bon indicateur précoce de la direction que prend Internet, il est facile d'imaginer comment les images générées par l'IA peuvent changer la recherche d'images Google telle que nous la connaissons. aussi.
par Emanuel Maiberg