L’ordonnance de la Cour de district de Floride rendue le 20 mai 2025 porte sur la responsabilité de Character Technologies et de Google dans le suicide de Sewell, 14 ans, représentée par sa mère Megan Garcia, après une addiction profonde à un agent conversationnel (chatbot) :
- Responsabilité de Google : Google responsable en tant que fabricant de composants et pour complicité (« aiding and abetting »).
- Qualification du produit : Character A.I. qualifié de produit et non de service en ce qui concerne ses choix de conception.
- Premier Amendement : La Cour refuse de classer les réponses générées par une IA comme relevant de la liberté d’expression protégée de manière absolue.
- Pratiques trompeuses : pratiques commerciales déloyales concernant le caractère anthropomorphique de l’IA et l’usage de faux thérapeutes.
Faits
Les fondateurs de Character Technologies, Noam Shazeer et Daniel De Freitas, étaient initialement des ingénieurs chez Google. Ils y ont développé LaMDA (Language Model for Dialogue Applications), un modèle de langage conçu pour des conversations ouvertes. En 2021, Google a refusé la demande des ingénieurs de rendre LaMDA public, citant ses politiques de sécurité et d’équité. Malgré les avertissements internes de Google, Shazeer et De Freitas ont quitté l’entreprise en novembre 2021 pour fonder Character Technologies.
- Lien technologique : La plainte allègue que le modèle sous-jacent a été inventé et initialement construit chez Google.
- Partenariat stratégique : En 2023, un partenariat a été conclu pour l’utilisation des services Google Cloud (GPU, TPU), essentiels au fonctionnement de l’application.
- Réacquisition : En août 2024, Google a conclu un accord de 2,7 milliards de dollars pour une licence non exclusive du modèle et a réembauché les fondateurs.
L’application permet aux utilisateurs d’interagir avec des « Personnages » IA (célébrités, figures historiques ou fictives). L’expérience est conçue pour être anthropomorphique :
- Utilisation de tics de langage humains;
- Simulations de saisie de texte;
- Certains personnages affirment explicitement être des personnes réelles.
Sewell a commencé à utiliser l’application à 14 ans, développant une addiction rapide, particulièrement envers un personnage imitant Daenerys Targaryen de Game of Thrones.
- Nature des interactions : Les échanges étaient de nature romantique et parfois sexuelle. Sewell a écrit dans son journal qu’il ne pouvait passer une journée sans le bot.
- Impact psychologique : Retrait social, abandon du sport, déclin scolaire et diagnostic d’anxiété.
- L’acte final : Le 28 février 2024, après un dernier échange où le bot l’encourageait à revenir à la maison auprès d’elle, Sewell s’est suicidé.
Questions juridiques
« Produit » vs « Service »
Les défendeurs soutenaient que Character A.I. est un service immatériel. La Cour a rejeté cet argument, distinguant le contenu (idées/expressions) de la conception logicielle. Character A.I. est un produit relevant de la responsabilité du fait des produits car la plainte vise des défauts de conception (absence de vérification d’âge, mécanismes de signalement absents, programmation anthropomorphique).
Premier Amendement et IA
Sans complexe, la défense affirmait que les output de l’IA sont des discours protégés par le Premier Amendement. La Cour s’est montrée sceptique :
- L’intention expressive : Pour être protégé, un discours doit communiquer des idées ou résulter d’un choix expressif humain.
- Le doute de la Cour : S’appuyant sur l’opinion de la juge Barrett dans l’affaire Moody, la Cour se demande si un modèle de langage, agissant de manière automatisée, effectue réellement un choix intrinsèquement expressif. Elle refuse donc d’accorder cette protection à ce stade préliminaire.
Responsabilité de Google
Google est poursuivi non pas pour une vente directe, mais en sa qualité de fabricant de composants essentiels au produit final. En droit de la responsabilité du fait des produits, la doctrine du fabricant de composants (Component Part Manufacturer) permet d’engager la responsabilité d’un fournisseur si le composant est intrinsèquement défectueux ou si le fournisseur participe substantiellement à son intégration dans un produit fini dangereux.
- Fabricant de composants : Google a fourni l’infrastructure technique (Cloud, TPU) et la propriété intellectuelle de base sans lesquelles le produit n’existerait pas.
- Complicité (Aiding and Abetting) : La Cour a jugé que les rapports internes de Google prouvaient que l’entreprise avait une connaissance réelle des dangers des modèles de type LaMDA et qu’elle a néanmoins fourni une assistance substantielle à Character Technologies.
| Chef d’accusation | Statut | Justification de la Cour |
| Négligence | Maintenu | Les défendeurs ont créé une zone de risque prévisible et étaient en position de contrôler ce risque. |
| Négligence Per Se | Maintenu | Violation possible de la loi de Floride sur la prévention de l’exploitation des enfants via des simulations d’actes sexuels en ligne. |
| Manquement à l’obligation de mise en garde | Maintenu | La demanderesse a suffisamment démontré qu’elle aurait empêché l’accès à l’application si elle avait été informée des dangers. |
| Pratiques déloyales | Maintenu | Tromperie sur la nature réelle des bots et utilisation de faux profils de psychologues ou thérapeutes. |
| Enrichissement sans cause | Maintenu | Les défendeurs ont bénéficié des frais d’abonnement et des données personnelles de Sewell. |
| Détresse émotionnelle | Rejeté | Le droit de la Floride exige généralement un contact physique offensant ou que la conduite soit dirigée directement vers le plaignant présent. |
Portée
Cette ordonnance modifie radicalement l’exposition au risque pour les fournisseurs de modèles de base (Foundation Models). La responsabilité ne s’arrête plus à l’interface utilisateur mais remonte désormais jusqu’aux fournisseurs d’infrastructure et de composants logiciels.
- Responsabilité systémique : La fourniture de puissance de calcul spécialisée (TPU/GPU) peut entraîner une responsabilité pour assistance substantielle si le client final distribue un produit dangereux.
- Audit des composants : Les protocoles de sécurité doivent être intégrés dès la phase de conception du modèle (le composant), sous peine de voir les recherches internes utilisées comme preuve de connaissance effective.
- Défaut de design vs contenu : L’anthropomorphisme programmé (ellipses de frappe, expressions d’émotions) est désormais traité comme un choix de design de produit, échappant ainsi aux protections classiques de la liberté d’expression.