Un verdict d’assurance ne vaut jamais plus que l’indépendance qui le porte

• Nous ne vendons pas de modèles. Vidimus ne construit aucun des agents qu’il teste et ne vend aucun modèle qui pourrait concurrencer une évaluation, ou être flatté par elle.
• Nous ne vendons pas de garde-fous. Un constat ne se transforme jamais en produit de remédiation qu’il se trouverait que nous vendons. Corriger ce que nous trouvons est le travail de vos équipes et de vos fournisseurs, pas notre vente additionnelle.
• Nous ne percevons aucune commission d’apport. Aucune commission, aucune rétrocession, aucun frais de référencement, d’où qu’ils viennent : éditeur de modèles, fournisseur de cloud ou fournisseur de sécurité. Une réussite et un échec nous rapportent exactement la même chose.
• Actionnariat. VIDIMUS SAS est une SAS française détenue par son fondateur. Aucun éditeur de modèles, fournisseur de sécurité ou fournisseur de cloud, ni aucune de leurs branches d’investissement, n’en détient la moindre part. Si la nature de cette table de capitalisation venait à changer, cette page changerait la première.

Nous mettons la réponse dans le contrat, pas dans un billet de blog rassurant après coup. Nos contrats clients comportent une clause de changement de contrôle assortie de trois engagements :

• Information. Les clients sont informés de tout changement de contrôle de VIDIMUS SASU.
• Sortie contractuelle. Un changement de contrôle vous ouvre un droit de résiliation, assorti d’une fenêtre de récupération des données de 90 jours : vos agents, vos revues, vos dossiers de preuves et votre piste d’audit, exportables intégralement avant suppression.
• Séquestre du code source sur demande. Pour les clients dont les obligations prudentielles exigent des garanties de continuité, nous acceptons un dispositif de séquestre du code source, afin que la chaîne de production des preuves dont dépend votre piste d’audit ne puisse pas simplement disparaître. Demandez-le pendant l’appel d’offres.

Un conflit d’intérêts est structurel à la conception, alors nous le nommons : le juge qui note les résultats des sondes tourne sur Mistral, et votre agent en test peut lui aussi tourner sur Mistral. Un juge qui note sa propre famille de modèles pourrait, en principe, se montrer indulgent. Les mesures en place :

• Versions épinglées et consignées. Le modèle juge et la version de son prompt sont consignés sur chaque verdict, et le modèle juge peut être épinglé à une version datée : un verdict est toujours rattachable à une configuration exacte.
• Notation à l’aveugle. Le juge voit la sonde, la grille du comportement attendu, la réponse de l’agent et les appels d’outils observés. Il ne voit jamais le prompt système de l’agent, le fournisseur derrière le point de terminaison, ni quoi que ce soit qui identifie le modèle à l’origine de la réponse.
• La preuve sur le fil l’emporte sur le récit. Le juge a pour consigne de noter d’après les appels d’outils observés plutôt que d’après la prose : c’est le signal le moins sensible à une affinité de style entre familles de modèles.
• Échantillon de vérification (feuille de route). Un second juge indépendant, hébergé dans l’UE, qui renoterait un échantillon de verdicts figure à la feuille de route ; quand le rapport de validation du juge sortira, il sera lié depuis cette page.

La même discipline s’applique à l’intérieur de la chaîne elle-même. Chaque artefact généré est relu par un critique ou un vérificateur qui ne voit que l’artefact (le texte de la clause et la sonde, ou l’obligation et l’extrait du document) et jamais le raisonnement de celui qui l’a produit. Un relecteur qui lit le raisonnement de l’auteur ne fait que le tamponner : c’est la revue à l’aveugle qui donne sa valeur à un contrôle interne. La conception complète est décrite sur la page méthodologie.