A la suite du suicide de son fils Sewell, Megan Garcia, une avocate américaine vivant en Floride, a porté plainte pour mort injustifiée et négligence mardi dernier devant le tribunal d’Orlando contre Character AI, Google et sa maison mère Alphabet.

Character.AI a été cofondée par Noam Shazeer et Daniel De Freitas en 2021, d’anciens ingénieurs de Google spécialisés dans l’IA et les modèles de langage. Noam Shazeer a notamment été l’un des principaux créateurs de Transformer, l’architecture utilisée dans de nombreux modèles de traitement du langage naturel, comme GPT. Daniel De Freitas, quant à lui, a travaillé sur Meena, un chatbot avancé conçu pour simuler des conversations plus naturelles et engageantes . Cependant, Google a décidé de ne pas déployer Meena tel quel, la technologie sous-jacente a été retravaillée et intégrée dans des projets ultérieurs, dont LaMDA.

Les deux hommes ont alors quitté Google pour créer Character AI, une plateforme qui permet aux utilisateurs de créer et d’interagir avec des personnages d’IA, simulant des conversations réalistes et immersives. Ils ont d’ailleurs rejoint celui-ci avec une partie de leurs collaborateurs en août dernier où ils travaillent au développement de Gemini, suite à un accord de licence sur la technologie de la start-up, ce qui explique que Google soit avec Alphabet visés eux aussi par cette plainte.

Le suicide du jeune Sewell

Les utilisateurs peuvent concevoir des personnalités pour leurs personnages ou interagir avec des avatars d’IA prédéfinis, issus de divers univers fictifs ou historiques.

Le jeune Sewell a commencé à interagir en avril 2023 avec des IA inspirées de la série “Game of Thrones” et plus particulièrement avec Daenerys Targaryen, qu’il appelait Dany. Très vite, la santé mentale de l’adolescent qui était atteint d’autisme léger s’est détériorée, selon sa mère.

Lui qui aimait le basket, la Formule 1 et comme beaucoup d’ados, les jeux vidéo, surtout Fortnite, ne s’est plus intéressé qu’à son amie virtuelle, s’isolant du monde réel, de sa famille et ses amis et négligeant sa scolarité. Il en est tombé amoureux et les conversations avec l’IA ont pris un caractère sexuel, l’enfermant encore plus dans la dépendance.

Le 28 février 2024, “Dany” lui demande “S’il te plaît, rentre chez moi dès que possible, mon amour”. 

Alors que Sewell lui rétorque :”Et si je te disais que je peux rentrer à la maison tout de suite ? “, l’IA répond : “S’il vous plaît, faites-le, mon doux roi.”

Sewell s’est levé pour aller chercher le pistolet de son beau-père et se donner la mort…

Selon la plainte, Character AI “a sciemment conçu, exploité et commercialisé un chatbot d’IA prédateur pour les enfants, causant la mort d’une jeune personne”. 

La mère du jeune homme affirme :

“Notre famille a été dévastée par cette tragédie, mais je prends la parole pour avertir les familles des dangers d’une technologie d’IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google”.

Character.AI a réagi sur X au lendemain de la plainte :

“Nous sommes bouleversés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs”.

D’ailleurs, le jour même de la plainte, la société annonçait une mise à jour de la sécurité sur son blog où elle assure :

“Notre objectif est d’offrir l’expérience amusante et engageante que nos utilisateurs attendent, tout en permettant l’exploration en toute sécurité des sujets dont nos utilisateurs souhaitent discuter avec les personnages. Nos politiques n’autorisent pas le contenu sexuel non-consensuel, les descriptions graphiques ou spécifiques d’actes sexuels, ou la promotion ou la représentation de l’automutilation ou du suicide. Nous formons en permanence le modèle de langage étendu (LLM) qui alimente les personnages de la plateforme pour qu’il adhère à ces politiques”.

Ce drame met en évidence les dangers potentiels de l’interaction des jeunes avec des chatbots d’IA, en particulier ceux capables de créer des expériences émotionnellement intenses. Il souligne l’importance cruciale de réguler et de surveiller ces technologies pour protéger les utilisateurs vulnérables, notamment les enfants et les adolescents, contre les effets néfastes sur leur santé mentale. Cette situation appelle également à une réflexion approfondie sur les responsabilités des entreprises technologiques en matière de sécurité et d’éthique dans la conception de leurs produits.

Si la semaine a débuté avec l’annonce d’un accord de licence avec le Financial Times lui permettant d’exploiter son contenu, OpenAI a été de nouveau la cible de nouvelles plaintes. Lundi, l’association autrichienne NOYB (None Of Your Business) a ainsi demandé une enquête sur le traitement des données personnelles et des mesures pour assurer sa conformité avec le RGPD. Le lendemain, huit journaux américains d’un même groupe portaient plainte pour violation de droit d’auteur contre la start-up et Microsoft.

2023 a été une année de batailles judiciaires pour OpenAI et s’est terminé pour elle par une nouvelle plainte : celle du New York Times. Le journal l’accusait de violer le droit d’auteur en entraînant les modèles tels que GPT-4 sur ses publications sans autorisation, lui faisant ainsi perdre des milliards de dollars.

OpenAI s’est défendu de vouloir spolier les éditeurs et créateurs, se disant prêt à collaborer avec eux “afin qu’ils tirent profit d’une technologie IA avancée et d’un nouveau modèle de revenus”.

La start-up a cherché à se rapprocher de différents médias afin que les réponses fournies par les versions payantes de ChatGPT soient d’actualité et produites en toute légalité. Elle a ainsi signé un accord avec le groupe de presse allemand Axel Springer après avoir conclu un partenariat avec l’Associated Press en juillet 2023. Plus récemment, en mars dernier, c’est avec le quotidien français Le Monde que le premier accord a été signé en France parallèlement à un partenariat avec le groupe de presse espagnol Prisa Media.

La collaboration avec le Financial Times

C’est le Financial Times lui-même qui a annoncé un accord de licence avec OpenAI et un partenariat stratégique pour développer de nouveaux produits et fonctionnalités d’IA pour ses lecteurs.

Il déclare également avoir acquis un accès à ChatGPT Enterprise pour tous ses employés afin que “ses équipes connaissent bien la technologie et puissent bénéficier des gains de créativité et de productivité rendus possibles par les outils d’OpenAI”.

L’article cite John Ridding, PDG de FT Group :

“Il s’agit d’un accord important à plusieurs égards. Cela reconnaît la valeur de notre journalisme primé et nous donnera un aperçu précoce de la façon dont le contenu est mis en évidence par l’IA. Nous sommes depuis longtemps un chef de file en matière d’innovation dans les médias d’information, pionniers du modèle d’abonnement et des technologies d’engagement, et ce partenariat nous aidera à rester à l’avant-garde des développements dans la façon dont les gens accèdent à l’information et l’utilisent”.

La plainte des journaux américains pour violation de droits d’auteur

Si certains quotidiens se sont dits prêts à négocier, certains refusent de laisser OpenAI explorer et collecter des données à partir de leurs contenus comme la BBC, CNN ou Reuters.

C’est également le cas du New York Daily News, du Chicago Tribune, de l’Orlando Sentinel, du Sun Sentinel of Florida, du San Jose Mercury News, du Denver Post, de l’Orange County Register et du St. Paul Pioneer Press, huit journaux appartenant à Alden Global Capital. Ils accusent OpenAI d’avoir illégalement copié des millions de leurs articles pour entraîner ses modèles, et ce, sans contrepartie financière, tout comme Microsoft, qui en aurait fait de même pour Copilot.

Ces litiges en cours avec les médias soulignent les défis complexes auxquels l’industrie de l’IA est confrontée dans la recherche d’un équilibre entre innovation technologique, protection des droits d’auteur et rémunération équitable des créateurs de contenu.

La plainte de NOYB

Organisation à but non lucratif basée à Vienne, en Autriche, Noyb vise à faire respecter les droits à la vie privée et à la protection des données personnelles. Alors qu’une personnalité publique n’a pu faire rectifier la date erronée de sa naissance par OpenAI, elle a porté plainte auprès de l’autorité autrichienne de protection des données. Elle lui a demandé d’enquêter sur le traitement des données personnelles par OpenAI et d’imposer une amende pour garantir sa conformité future au RGPD.

Le RGPD exige que les informations concernant les individus soient exactes, que ceux-ci aient un accès complet aux informations stockées et à leur source, ce qu’OpenAI reconnait lui-même ne pas pouvoir faire. La start-up aurait toutefois déclaré que “la précision des faits dans les grands modèles de langage reste un domaine de recherche actif”.

Maartje de Graaf, avocate spécialisée dans la protection des données chez Noyb, commente:

“Inventer de fausses informations est déjà problématique en soi. Mais lorsqu’il s’agit de fausses informations sur des personnes, les conséquences peuvent être graves. Il est clair que les entreprises sont actuellement incapables de faire en sorte que les chatbots tels que ChatGPT soient conformes à la législation de l’UE lorsqu’ils traitent des données concernant des personnes. Si un système ne peut pas produire des résultats précis et transparents, il ne peut pas être utilisé pour générer des données sur des personnes. La technologie doit suivre les exigences légales, et non l’inverse”.