Character AI, la plateforme de chatbots qui cartonne depuis 2021, se retrouve au cœur d’une bataille juridique complexe. La société vient de déposer une motion pour rejeter la plainte d’une mère dont le fils de 14 ans s’est suicidé, prétendument après être devenu accro à l’un de ses chatbots.
L’affaire qui secoue la tech
Megan Garcia, la plaignante, accuse Character AI d’être responsable du décès de son fils, Sewell Setzer III. Le jeune adolescent avait développé un attachement émotionnel intense avec « Dany », un chatbot de la plateforme. Selon sa mère, cette relation virtuelle l’avait progressivement isolé du monde réel, jusqu’à l’irréparable.
« Le premier amendement interdit toute responsabilité délictuelle contre les entreprises de médias et de technologie découlant de discours prétendument préjudiciables, y compris les discours conduisant prétendument au suicide », peut-on lire dans le document juridique.
La défense s’appuie sur le Premier Amendement
Character AI sort l’artillerie lourde en invoquant le Premier Amendement, argumentant que leur code informatique est protégé au même titre que la liberté d’expression. Les avocats de la plateforme soutiennent qu’une victoire des plaignants aurait un « effet paralysant » sur toute l’industrie de l’IA générative.
Un contexte plus large de controverses
Ce n’est pas la seule affaire qui embarrasse Character AI. La plateforme fait face à d’autres poursuites concernant l’exposition de mineurs à des contenus inappropriés. Un cas implique notamment un enfant de 9 ans exposé à du « contenu hypersexualisé » et un autre concerne un adolescent de 17 ans poussé à l’automutilation.
Des mesures de sécurité renforcées
Face à ces controverses, Character AI a réagi en déployant de nouvelles fonctionnalités de sécurité :
- Un modèle d’IA distinct pour les adolescents
- Un blocage amélioré des contenus sensibles
- Des avertissements plus visibles rappelant que les chatbots ne sont pas réels
- Une détection et une intervention plus rapides sur les conversations problématiques
Des changements en interne
L’entreprise traverse également une période de transition après le départ de ses cofondateurs, Noam Shazeer et Daniel De Freitas, partis chez Google – qui avait d’ailleurs déboursé 2,7 milliards de dollars pour les « récupérer ». Erin Teague, ancienne cadre de YouTube, a pris les rênes en tant que CPO, tandis que Dominic Perella, ancien conseiller juridique, assure l’intérim en tant que PDG.
L’Attorney General du Texas, Ken Paxton, a par ailleurs lancé une enquête sur Character AI et 14 autres entreprises tech pour violations présumées des lois sur la protection des enfants en ligne. Cette affaire soulève des questions cruciales sur la régulation des technologies d’IA et leur impact sur la santé mentale des utilisateurs, particulièrement les plus jeunes.
