En bref
- Anthropic développe FlashProve, un système open source permettant de vérifier qu’une réponse provient bien du modèle d’IA annoncé.
- Cette technologie vise à empêcher les entreprises de remplacer discrètement un modèle par un autre, notamment pour réduire leurs coûts ou manipuler leurs performances.
- FlashProve repose sur des preuves cryptographiques sans révéler les secrets des modèles, mais reste pour l’instant au stade expérimental.
Quand une IA répond, rien ne garantit aujourd’hui que le modèle annoncé est bien celui qui a produit le texte. C’est le problème que Anthropic tente d’attaquer avec FlashProve, un système open source présenté en début de semaine.
Vérifier qui parle vraiment derrière la réponse
L’idée est simple sur le papier, mais ambitieuse dans l’exécution. FlashProve d’Anthropic doit fournir une preuve cryptographique, autrement dit une garantie mathématique qu’une sortie donnée vient bien d’un modèle précis.
Pour l’utilisateur, l’intérêt est direct. Si un service affirme s’appuyer sur un modèle donné, le système doit permettre de confirmer que la réponse reçue provient bien de ce modèle-là, et pas d’un autre glissé en douce.
Un garde-fou contre les substitutions discrètes
Anthropic compare ce mécanisme aux signatures cryptographiques des e-mails, qui servent à vérifier l’identité réelle de l’expéditeur. Le principe est le même, empêcher qu’un acteur fasse passer un modèle pour un autre.
Et le point le plus sensible est là. Les chercheurs expliquent qu’un laboratoire pourrait être tenté de remplacer discrètement un modèle par une version moins coûteuse pour réduire ses dépenses. À l’inverse, il pourrait aussi utiliser un modèle plus cher pour améliorer artificiellement ses résultats de performance.
Le système vise aussi les promesses faites par des tiers. Un développeur peut assurer qu’une bibliothèque logicielle a été contrôlée par un modèle avancé de cybersécurité. Une entreprise peut dire qu’un business plan a été validé par le bon modèle. Sans preuve, difficile de vérifier.
Des empreintes publiées, sans exposer les poids du modèle
Pour que cela fonctionne, les laboratoires doivent publier une empreinte de chaque modèle mis sur le marché. Cette empreinte peut ensuite être rapprochée d’une sortie précise et vérifiée cryptographiquement.
Point clé, cette empreinte ne révèle pas les poids du modèle, ces valeurs internes qui déterminent son comportement et que des acteurs comme Anthropic ou OpenAI gardent privés. Du coup, le système pourrait aussi être utilisé avec des modèles commerciaux. La vérification a en plus été pensée pour rester légère, avec une exécution possible en local.
Les chercheurs ont publié une spécification technique détaillée et du code fonctionnel pour plusieurs briques du système sur GitHub, sous licence open source. Mais FlashProve n’en est pas au stade du produit. Anthropic précise qu’il n’est pas prévu de le déployer dans ses propres laboratoires, ni ailleurs, à ce stade. Le projet est présenté comme une avancée intermédiaire, ouverte à ceux qui voudraient la reprendre et l’améliorer.
