En bref
- Anthropic a bloqué plusieurs utilisateurs de Claude soupçonnés d’usages liés à la recherche biologique à risque.
- Cinq cas concernent notamment des recherches sur le chikungunya, la grippe aviaire et des toxines.
- L’affaire montre la difficulté de distinguer recherche scientifique légitime et usages potentiellement dangereux de l’IA.
Les IA qui aident vraiment la recherche posent un autre problème, elles peuvent aussi aider là où ça devient beaucoup moins rassurant. C’est le message envoyé par Anthropic, qui dit avoir repéré puis stoppé plusieurs scientifiques utilisant ses modèles, dont Claude, dans des travaux pouvant alimenter des armes biologiques.
Des modèles plus utiles, donc plus compliqués à cadrer
Le sujet prend de l’ampleur parce que des modèles récents comme Fable 5 sont de plus en plus performants pour accompagner des travaux scientifiques. Du coup, la frontière entre usage légitime et usage dangereux devient moins nette.
Anthropic insiste sur ce point, une recherche sur un nouveau vaccin peut parfois ressembler à des travaux bien plus risqués. L’entreprise explique avoir choisi une approche très prudente à chaque fois, vu les conséquences possibles. Et clairement, on comprend pourquoi.
Cinq cas étudiés, avec des signaux sur le chikungunya
Le rapport détaille cinq études de cas liées au risque biologique. L’un des exemples remonte à mai, quand le classificateur de sécurité biologique d’Anthropic a signalé une demande adressée à Claude pour rédiger une subvention sur une recherche de gain de fonction autour du virus du chikungunya.
Selon l’entreprise, ce virus ne dispose pas de traitement homologué et peut provoquer des symptômes invalidants pendant des semaines, voire des mois. Le projet évoqué visait à augmenter sa transmissibilité et sa capacité à contourner la réponse immunitaire. Un point a aussi pesé lourd, l’affiliation du projet à un institut de recherche militaire.
D’autres recherches ont aussi déclenché l’alerte
Ce cas n’est pas seul. Anthropic dit avoir également relevé des travaux de gain de fonction sur la grippe aviaire, ainsi qu’un autre dossier où un chercheur utilisait Claude pour construire un atlas de peptides toxiques issus de venins et une chaîne générative destinée à optimiser certaines caractéristiques de ces toxines.
Le rapport va plus loin. Il recense aussi des usages liés à la surveillance, à la création d’exploits logiciels, à la propagande et à des systèmes d’armes.
Comptes bannis et prudence sur les noms
Tous les utilisateurs identifiés comme auteurs de ces détournements ont vu leur compte supprimé, d’après Anthropic. L’entreprise ajoute que ces enquêtes servent à améliorer ses protections pour éviter de nouveaux cas.
Dans le même temps, elle ne donne ni les noms des chercheurs ni ceux des institutions concernées. Son chef du renseignement sur les menaces, Jacob Klein, a résumé la difficulté du dossier auprès du The New York Times avec cette formule : « Vous n’avez pas quelqu’un qui dit, comme dans une BD, « hé, je veux fabriquer une arme biologique pour tuer tout le monde ». C’est une situation incroyablement nuancée. »
Anthropic précise enfin qu’il s’agit de scientifiques en activité et qu’elle n’affirme pas qu’ils avaient l’intention de nuire. Les identifier, eux ou leurs laboratoires, pourrait selon elle les exposer à des risques. Bref, le terrain est glissant.
