Claude : CLIO : le nouveau gardien de l’IA qui traque les menaces émergentes
Anthropic dévoile aujourd’hui Clio, son nouveau système révolutionnaire de détection des menaces pour son IA Claude. Une avancée majeure qui pourrait redéfinir la cybersécurité dans le domaine de l’intelligence artificielle.
Une découverte fortuite qui change la donne
Tout a commencé en début d’année quand Anthropic a détecté un réseau de spammeurs qui utilisait Claude pour générer du contenu SEO de manière coordonnée. Ces comptes avaient soigneusement formulé leurs requêtes pour contourner les filtres habituels. C’est Clio (Claude Insights and Observations) qui a repéré cette activité suspecte.
« Ce n’est parfois qu’en analysant le contexte global qu’on réalise qu’il s’agit d’abus coordonnés », explique Miles McCain, co-auteur de l’étude et membre de l’équipe technique d’Anthropic.
Comment fonctionne cette sentinelle numérique ?
Clio analyse plus d’un million de conversations avec Claude, tout en préservant la confidentialité des utilisateurs. Le système regroupe les conversations similaires en clusters thématiques, créant une cartographie visuelle des usages. Les conversations isolées ou inhabituelles apparaissent comme des « îlots » qui peuvent signaler des comportements suspects.
Cette approche « bottom-up » contraste avec les méthodes traditionnelles basées sur des mots-clés prédéfinis. Clio a notamment permis de corriger des faux positifs, comme le blocage injustifié de conversations sur Dungeons & Dragons que Claude confondait avec des plans d’attaque réels.
Des usages qui dépassent la sécurité
L’analyse de Clio révèle aussi comment Claude est utilisé au quotidien :
- 10% des conversations concernent le code et le développement logiciel
- 7% touchent à l’éducation
- 6% portent sur la stratégie et les opérations business
Plus surprenant encore, les utilisateurs consultent Claude pour interpréter leurs rêves, analyser des matchs de foot ou même résoudre des mots croisés.
Une technologie accessible mais sensible
Anthropic a choisi de partager publiquement le fonctionnement de Clio, espérant inspirer d’autres laboratoires d’IA. Le coût est relativement modeste : 48,81$ pour analyser 100 000 conversations.
Mais cette transparence soulève aussi des questions éthiques. Si Clio est utilisé pour identifier des menaces, d’autres pourraient l’exploiter pour de la surveillance marketing ou du profilage utilisateur.
La technologie est actuellement testée sur « Computer Use », la nouvelle fonction de Claude permettant d’exécuter des actions sur ordinateur, et aide également à monitorer les usages liés aux élections américaines 2024.
Note : Cette avancée s’inscrit dans un contexte plus large où les géants de la tech comme Google (Gemini) et OpenAI (GPT-4) développent aussi leurs propres systèmes de détection des menaces.
