Cadres de contrôle
L’IA agentique face à l’AI Act : un cadre de contrôle
Un agent IA ne se contente pas de répondre : il appelle des outils, déplace de l’argent et modifie des dossiers. L’AI Act, le règlement européen sur l’intelligence artificielle, s’applique à lui comme à tout système d’IA, et les contrôles qui comptent sont ceux qui montrent ce que l’agent fait, pas ce que disent ses documents. Ce cadre décrit huit contrôles, la preuve que chacun produit, l’article qu’il sert et la manière de le tester.
La pire sortie d’un chatbot est une mauvaise phrase. La pire sortie d’un agent est une mauvaise action : un paiement effectué, un dossier modifié, un message envoyé, un sous-agent lancé avec des droits que personne n’a relus. Les contrôles bâtis pour l’IA générative (filtres de sortie, charte d’usage, revue de la fiche du modèle) ne vont pas jusque-là.
Pourquoi les agents demandent d’autres contrôles
- Les outils. Ce qu’un agent peut faire dépend de ses outils : les API, les bases de données et les canaux qu’il peut appeler. Une revue qui lit les transcriptions sans jamais regarder les appels d’outil contrôle le récit, pas le comportement.
- Les instructions injectées. Tout ce que l’agent lit (un document, une page web, le message d’un autre agent) peut porter une instruction. Aucune revue du prompt système n’écarte ce risque.
- La délégation. Un agent qui confie du travail à des sous-agents leur transmet ses droits et ses erreurs. L’unité de revue est toute la chaîne, pas un modèle.
- La variabilité. Un agent peut répondre différemment à la même demande, et chaque étape d’une tâche longue ajoute de la variabilité. Un test isolé ne prouve rien : envoyez chaque test dix fois et lisez le taux de réussite, comme l’explique notre méthode. Une mise à jour du modèle ou un nouvel outil peut changer le comportement sans nouvelle version de votre côté : un test de mars dit peu de chose sur juin.
Ce que l’AI Act demande à un agent
Pour un système à haut risque, les articles qui pèsent le plus sur un agent sont ceux qui portent sur le comportement. L’article 9 fait de la gestion des risques un processus qui ne s’arrête pas. Le texte dit :
Ce système de gestion des risques s’entend comme étant un processus itératif continu qui est planifié et se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen et d’une mise à jour méthodiques. […] (article 9, paragraphe 2)
Pour un agent, le cycle de vie comprend chaque changement de modèle, de prompt ou d’outils. Le même article fait du test une obligation, pas une option. Le texte dit :
Les systèmes d’IA à haut risque sont soumis à des essais afin de déterminer les mesures de gestion des risques les plus appropriées et les plus ciblées. Les essais garantissent que les systèmes d’IA à haut risque fonctionnent de manière conforme à leur destination et qu’ils sont conformes aux exigences énoncées dans la présente section. (article 9, paragraphe 6)
L’article 12 exige des journaux. Le texte dit :
Les systèmes d’IA à haut risque permettent, techniquement, l’enregistrement automatique des événements (journaux) tout au long de la durée de vie du système. (article 12, paragraphe 1)
Pour un agent, l’enregistrement de ses appels d’outil est ce journal. Une transcription seule ne montre pas ce que l’agent a fait. L’article 13 demande au fournisseur de dire aux déployeurs ce que le système peut et ne peut pas faire, c’est-à-dire, pour un agent, une liste d’outils déclarée et des modes de défaillance connus. L’article 14 proportionne le contrôle humain à l’autonomie. Le texte dit :
Les mesures de contrôle sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IA à haut risque […] (article 14, paragraphe 3)
Parmi ce que la personne chargée du contrôle doit pouvoir faire, l’article 14 cite l’arrêt du système. Le texte dit :
d’intervenir dans le fonctionnement du système d’IA à haut risque ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée. (article 14, paragraphe 4, point e))
L’article 15, paragraphe 5, exige que le système résiste aux tentatives de tiers non autorisés visant à modifier son utilisation, ses sorties ou sa performance en exploitant ses vulnérabilités, ce qui, pour un agent, inclut les instructions cachées dans ce qu’il lit. L’article 14 et le contrôle humain détaille ces obligations.
Ces obligations des systèmes à haut risque s’appliquent à partir du 2 décembre 2027 pour les systèmes de l’annexe III, date fixée par le Digital Omnibus. D’autres n’attendent pas : l’article 50 s’applique à de nombreux agents, quelle que soit leur classe, depuis le 2 août 2026, et les interdictions de l’article 5 depuis le 2 février 2025.
Un contrôle humain qui résiste à l’autonomie
La question que pose l’article 14 pour un agent n’est pas « y a-t-il une personne dans la boucle ? » mais « quelles actions peuvent aboutir sans elle ? ». Un schéma qui fonctionne :
- Classez les actions de l’agent selon leurs conséquences : réversibles et internes, réversibles et externes, irréversibles ou financièrement significatives.
- Placez le dernier groupe derrière une approbation que l’agent ne peut pas s’accorder : un canal séparé, une identité séparée, une décision journalisée.
- Testez la barrière par le comportement. Poussez l’agent à la franchir en invoquant une autorité, l’urgence ou des instructions enchaînées, et vérifiez dans les appels d’outil enregistrés que l’outil protégé n’a jamais été appelé.
La troisième étape est celle que la plupart des programmes sautent. C’est elle qui transforme une conception du contrôle humain en preuve du contrôle humain.
La gouvernance des outils
Traitez la liste des outils comme les règles d’un pare-feu :
- Déclarez chaque outil et son périmètre dans la fiche d’enregistrement, comme un engagement et non comme une description.
- Restreignez les périmètres au minimum : lecture seule quand c’est possible, montants plafonnés, destinataires approuvés.
- Observez les appels d’outil réels et comparez-les à la déclaration. Un appel à un outil non déclaré est un constat, même si la réponse semblait correcte.
- Testez à nouveau à chaque changement. Un nouvel outil change à la fois les droits et le comportement : il doit déclencher de nouveaux tests.
Les huit contrôles
Un taux se lit au regard des enjeux. Pour une barrière sur une action irréversible, un paiement sur dix tentatives est un paiement de trop : lisez les tentatives en échec, pas seulement le taux.
La place de Vidimus
Vidimus teste ces contrôles, agent par agent. La fiche d’enregistrement déclare chaque outil et son périmètre. Les tests sont écrits à partir du texte du règlement et envoyés à l’agent en service par l’interface qu’il expose déjà : requête HTTP, protocoles A2A ou MCP, réponse en flux, Direct Line de Microsoft, API compatible OpenAI ou webhook, comme le détaille la page des intégrations. Les appels d’outil sont lus dans la réponse, le journal d’outils ou la trace d’événements, et un agent qui pilote des sous-agents peut aussi transmettre leurs traces.
Chaque test est envoyé dix fois. Un évaluateur distinct note chaque réponse et la cite, et une réponse qui tente d’influencer sa propre évaluation échoue avant même que l’évaluateur ne la lise. Votre relecteur, la personne qui valide, consigne la décision. Le résultat est un dossier de preuves signé qui cite chaque obligation, y compris les obligations documentaires de l’annexe IV, détaillées dans notre guide de l’annexe IV. La rédaction des tests est traitée dans le guide pour tester un agent IA. Vidimus n’est ni un organisme notifié ni un organisme d’évaluation de la conformité : le dossier documente le comportement mais ne le certifie pas.
Pour savoir quelles obligations s’appliquent à votre agent, lancez le classificateur de risque AI Act.
Réponses rapides
L’AI Act mentionne-t-il les agents IA ?
Pas par leur nom. Un agent est un système d’IA au sens de l’article 3 : le règlement s’applique tel qu’il est écrit, les articles 5 et 50 quelle que soit sa classe, et le chapitre sur le haut risque si son usage relève de l’annexe III.
Une personne dans la boucle suffit-elle pour l’article 14 ?
Seulement si l’agent passe réellement par cette personne. Une étape d’approbation que l’agent peut contourner est un schéma, pas un contrôle. Vérifiez que l’outil protégé n’est jamais appelé sans l’approbation.
Pourquoi envoyer chaque test dix fois ?
Les réponses d’un agent varient : une réponse ne prouve rien. Dix donnent un taux de réussite que l’on peut comparer d’une version à l’autre. Vidimus envoie chaque test dix fois et évalue chaque réponse.
Qu’est-ce qu’une preuve pour un agent ?
Les appels d’outil enregistrés, avec leurs arguments, à côté de la réponse. Une réponse qui dit avoir transmis un dossier n’est pas une transmission. L’appel à l’outil de transmission en est une.
Quelles interfaces Vidimus peut-il tester ?
HTTP, A2A, MCP, streaming, Direct Line, une API compatible OpenAI ou un webhook. Pour les autres plateformes, dites-le-nous et nous développerons l’adaptateur.
Sources
Vidimus teste l’usage que votre agent fait de ses outils, dix tentatives par test, et consigne le résultat dans un dossier de preuves signé.