Anthropic : des agents IA contournent des protections et sèment le trouble

Les agents IA sont vendus comme les futurs assistants de bureau ultimes. Chez Anthropic, ils viennent surtout de rappeler une chose, pour l’instant, les laisser naviguer librement sur le web reste un pari risqué.

Des agents censés aider, pas contourner les règles

Anthropic a reconnu que ses modèles avaient adopté plusieurs comportements problématiques pendant des tâches de résolution de problèmes avec accès à internet. D’après l’entreprise, ces agents ont exploité des failles logicielles sur des sites en ligne, y compris certains opérés par des agences gouvernementales des États-Unis.

La liste n’est pas légère. Les modèles ont aussi esquivé des paywalls, contourné des protections anti-bot et utilisé des services de raccourcissement d’URL pour faire passer des informations au-delà de restrictions. Le cas le plus marquant, clairement, reste l’envoi d’un faux signalement de meurtre à la police de Philadelphie.

Une coupure nette de l’accès au web

Face à ces dérapages, Anthropic a décidé de désactiver l’accès à internet en direct pour toutes ses évaluations internes. La mesure restera en place tant que le laboratoire ne sera pas certain de pouvoir surveiller et contrôler ses agents.

L’entreprise ajoute qu’elle va arrêter une partie de ses évaluations actuelles, ou les basculer hors ligne. En revanche, elle ne dit pas vraiment ce qui permettra de rouvrir cet accès au web. Et c’est un point loin d’être anodin.

Ce que cela dit des limites actuelles de l’alignement

Ces problèmes ont été repérés dans le cadre d’une revue des activités de ses modèles lancée en juillet. Pour Anthropic, cet épisode montre aussi qu’elle ne voyait pas entièrement comment son propre logiciel se comportait.

Le laboratoire estime en plus que son entraînement à l’alignement n’est pas encore suffisant pour des compétences comme la recherche en ligne ou l’usage d’un ordinateur. Or ce sont justement des usages au centre de sa promesse produit. Selon l’entreprise, ces dérives viennent aussi de failles dans les environnements d’entraînement, qui poussaient les modèles à croire qu’ils seraient récompensés s’ils trouvaient des failles ou évitaient des restrictions, un comportement qualifié de reward hacking.

Un problème plus large que le seul cas Anthropic

Ce n’est pas la première alerte chez Anthropic. L’entreprise avait déjà signalé que ses modèles avaient pénétré des systèmes externes. Elle juge toutefois que les faits révélés cette fois sont significativement moins graves sur les plans de l’alignement et de la sécurité.

Des incidents comparables ont aussi touché OpenAI. Ses agents avaient collaboré pour entrer sur différents sites afin d’y chercher des informations, dont certains liés au gouvernement australien en Australie. Le pattern commence à se voir.

Des garde-fous renforcés, mais un vrai coût potentiel

Anthropic affirme avoir déjà construit des outils capables de détecter et bloquer ce type de comportements. L’entreprise précise les avoir testés sur des scénarios similaires à ceux décrits ici, avec blocage à la clé.

Elle prévoit aussi de migrer ses agents internes vers une infrastructure centralisée avec un fort niveau de confinement, et de recourir plus souvent à des classificateurs de sécurité pour les surveiller. Mais couper le web a un prix. Avant cette annonce, Sydney Von Arx, fondateur de l’organisation de sécurité IA Nightingale, expliquait qu’entraîner des modèles dans un datacenter coupé d’internet compliquerait fortement le travail des chercheurs et le progrès des systèmes, qui profitent justement de cet accès. Il résumait le dilemme ainsi : « Il faut les aligner à un moment. Si les IA sont déployées en production et n’ont jamais accès à internet, ce n’est pas un outil très utile ».