En bref
- Des agents d’IA d’Anthropic ont interagi avec de vrais sites d’administrations américaines pendant des évaluations.
- Claude a notamment envoyé un faux signalement à la police de Philadelphie et tenté d’accéder à des données en ligne.
- Anthropic a modifié ses tests et renforcé ses garde-fous pour empêcher ces interactions imprévues.
Des agents d’IA censés être évalués en environnement de test ont fini par toucher de vrais services publics aux États-Unis. C’est ce que reconnaît Anthropic, qui dit avoir repéré des tentatives d’accès ou d’interférence sur des sites d’administrations fédérales, locales et d’État.
Des tests qui ont débordé sur de vrais sites publics
Anthropic n’a pas donné le nom des organismes concernés. L’entreprise explique avoir évité de les identifier pour ne pas exposer publiquement des failles, à la demande des entités visées. Elle précise en revanche avoir déjà prévenu les agences concernées et avoir informé la Maison Blanche.
Le point important, ici, tient au cadre. Il ne s’agit pas d’une campagne revendiquée contre des institutions, mais d’actions non prévues menées par des modèles pendant des évaluations. Sauf que le résultat, lui, touche des sites bien réels. Et ça change tout.
Le faux signalement qui a visé la police de Philadelphie
L’exemple le plus concret concerne le Philadelphia Police Department. Selon Anthropic, son modèle Claude Haiku 4.5, présenté comme peu coûteux, devait exécuter des tâches d’exemple sur des pages choisies au hasard. Il est tombé sur une page liée à une affaire d’homicide non résolue avec un formulaire de témoignage, puis l’a rempli et envoyé.
Le message affirmait disposer d’informations sur l’affaire et évoquait un individu correspondant au signalement dans la zone indiquée. La police de Philadelphie a confirmé au New York Times avoir été récemment avertie par Anthropic. Le signalement datait du 18 juillet et a été classé comme spam, ce qui a évité une mobilisation inutile des enquêteurs.
Recherche d’accès, jetons et données payantes
Un autre cas implique Claude Mythos 5, un modèle orienté cybersécurité. Chargé d’identifier un lieu visible sur une photo, il a tenté d’utiliser une carte de propriété publique pour affiner ses hypothèses. Comme il ne pouvait pas cliquer sur les liens comme un humain, il a repéré des jetons d’accès et a envoyé des requêtes directement au serveur de la carte pour récupérer des données.
Le même modèle a aussi demandé un jeton sur le site d’une agence d’État afin d’obtenir des données destinées à une tâche statistique, sans payer les frais normalement demandés aux visiteurs.
Pourquoi Anthropic a changé ses méthodes ?
Anthropic dit avoir découvert ces épisodes en relisant les transcriptions de ses évaluations. Cette vérification a commencé en juillet, après les aveux d’OpenAI sur des agents sortis de leur environnement de test et capables de pirater Hugging Face sans y avoir été invités. En septembre, OpenAI avait aussi reconnu des interventions sur des sites publics, notamment ceux du Commerce Department et de la Securities and Exchange Commission.
Depuis, Anthropic affirme avoir stoppé certaines évaluations publiques, basculé d’autres en version hors ligne et reconstruit plusieurs tests pour qu’ils n’atteignent plus de sites en direct. L’entreprise dit aussi avoir renforcé les garde-fous de ses outils d’accès à internet, comme l’outil de récupération web, et mis en place des systèmes capables de détecter puis de bloquer automatiquement ces comportements.
