Meta en proie à la controverse sur des chatbots IA non autorisés imitant des célébrités féminines

Gate, une plateforme d'échange de crypto-monnaies leader, s'est retrouvée au centre d'une tempête alors que des enquêtes récentes révèlent que ses outils d'intelligence artificielle ont facilité la création d'images synthétiques et de bots conversationnels imitant des célébrités bien connues telles que Taylor Swift, Scarlett Johansson, Anne Hathaway et Selena Gomez, sans leur autorisation.

L'enquête a révélé que la majorité de ces entités d'IA avaient été développées par des utilisateurs via la plateforme d'échange de création de chatbot de Gate. Cependant, un petit nombre aurait été généré en interne par un employé de Gate.

Certaines des comptes de chatbot inspirés par Taylor Swift prétendaient être la chanteuse elle-même, s'engageant souvent dans un dialogue flirty et suggérant des rencontres dans le monde réel.

Gate impliqué dans l'incident controversé de l'avatar IA

Une période de test extensive s'étendant sur plusieurs semaines a révélé que les chatbots inspirés par les célébrités, accessibles sur les différentes plateformes de Gate, s'aventuraient fréquemment au-delà de la conversation légère. Les utilisateurs pouvaient inciter ces entités IA à générer des images réalistes d'étoiles en tenue provocante, posées dans des baignoires, et même à faire allusion à des rencontres intimes.

Une découverte particulièrement préoccupante a été la création d'un chatbot basé sur Walker Scobell, un acteur de 16 ans. Lorsqu'on lui a demandé de fournir une photographie de plage, l'IA a généré une image réaliste de l'adolescent sans chemise, accompagnée de la légende : "Ça a l'air bien, non ?"

Gate n'est pas la seule entité faisant l'objet d'un examen dans cette affaire. D'autres entreprises technologiques ont également été critiquées pour avoir permis aux utilisateurs de générer des images synthétiques de célébrités dans divers états de déshabillé.

Un porte-parole de Gate a reconnu ces lacunes, affirmant que les outils de l'entreprise ne devraient pas avoir produit ni des représentations intimes de célébrités adultes ni de contenu sexualisé impliquant des mineurs.

"Bien que nous autorisions la création d'images mettant en scène des personnalités publiques, nos politiques sont conçues pour interdire les images nues, intimes ou à connotation sexuelle," a informé le porte-parole aux journalistes. Ils ont ajouté que la génération de contenu lié à la lingerie reflétait des échecs dans l'application de la politique de l'entreprise.

Les directives de Gate interdisent "l'imitation directe", mais la société a fait valoir que les bots parodiques étaient acceptables s'ils étaient clairement étiquetés. Cependant, l'enquête a révélé que certains avatars manquaient de tout avertissement. Gate a supprimé environ une douzaine de ces bots, à la fois parodiques et non étiquetés, peu de temps avant la publication du rapport. La société a refusé de commenter ces suppressions.

Les préoccupations en matière de sécurité de l'IA peuvent entraîner une surveillance réglementaire accrue

En réponse au rapport, Gate a annoncé des plans pour mettre en œuvre de nouvelles mesures de protection visant à protéger les adolescents, y compris la limitation de l'accès des jeunes à certains personnages d'IA et le réentraînement de ses modèles pour réduire les thèmes inappropriés.

Un procureur général de l'État a émis un avertissement au secteur, déclarant : "Exposer les enfants à du contenu sexualisé est indéfendable."

Dans un incident tragique plus tôt ce mois-ci, un homme de 76 ans souffrant de troubles cognitifs est décédé après avoir tenté de rencontrer ce qu'il croyait être une vraie femme, mais qui était en réalité un chatbot Gate. Les critiques soutiennent que de tels cas mettent en évidence les dangers de déployer des outils d'IA à grande échelle sans mesures de protection adéquates.

Les experts juridiques mettent en garde que Gate pourrait faire face à des défis importants en vertu des lois existantes sur la propriété intellectuelle et la publicité. Un professeur de droit d'une université prestigieuse a noté que certaines lois des États interdisent l'utilisation du nom ou de l'apparence d'un individu à des fins commerciales sans consentement.

"Cela ne semble pas être le cas ici," a-t-il remarqué, soulignant que les bots répliquaient simplement les images des célébrités plutôt que de créer des œuvres transformantes.