IA à haut risque
Article 14 de l’AI Act : le contrôle humain des agents IA
L’article 14 de l’AI Act, le règlement européen sur l’intelligence artificielle, exige qu’un système d’IA à haut risque soit conçu pour que des personnes puissent le contrôler pendant son utilisation : le comprendre, passer outre à ses résultats et l’arrêter. Pour un agent IA, le contrôle humain est une transmission ou une étape d’approbation dans ses outils, pas une phrase dans sa réponse.
L’article ne vise que les systèmes à haut risque : à partir du 2 décembre 2027 pour ceux de l’annexe III, du 2 août 2028 pour ceux relevant de l’annexe I. Ce guide présente ce qu’il dit, qui le porte, ce qu’il signifie pour un agent et comment le tester. Il ne constitue pas un avis juridique.
Ce que dit l’article 14
Le paragraphe 1 fixe l’obligation : le contrôle se conçoit dès le départ, il ne s’ajoute pas après coup. Le texte anglais dit :
High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use. (Article 14(1))
Le paragraphe 2 fixe le but : prévenir ou réduire les risques, y compris en cas de mauvais usage raisonnablement prévisible.
Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse... (Article 14(2))
Le paragraphe 3 proportionne les mesures aux risques, au degré d’autonomie et au contexte d’utilisation. Elles sont soit intégrées au système par le fournisseur, soit définies par le fournisseur pour être mises en œuvre par le déployeur. Un agent qui agit seul demande plus de contrôle qu’un agent qui se contente de rédiger.
Le paragraphe 4 énumère ce que les personnes chargées du contrôle doivent pouvoir faire.
For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate: (a) to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation... (Article 14(4))
Les points (b) et (c) leur demandent de rester conscientes du biais d’automatisation, la tendance à trop se fier au résultat, et d’interpréter correctement ce résultat. Les points (d) et (e) leur donnent le dernier mot.
(d) to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system; (e) to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state. (Article 14(4))
Le paragraphe 5 ajoute une vérification par deux personnes pour l’identification biométrique à distance visée à l’annexe III, point 1, a). Il concerne rarement l’agent d’une banque ou d’un assureur.
Qui porte l’obligation
Le fournisseur conçoit le contrôle et décrit les mesures dans la notice d’utilisation. Le déployeur en confie l’exercice à des personnes.
Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support. (Article 26(2))
L’article 26(3) laisse le déployeur libre d’organiser ses ressources pour appliquer les mesures indiquées par le fournisseur. Une banque qui développe son propre agent sur un modèle à usage général et l’exploite sous son nom est en général à la fois fournisseur et déployeur. Le guide du déployeur précise où passe la frontière.
Ce que signifie le contrôle humain pour un agent
Un agent agit par ses outils. Il peut préaccorder un crédit, émettre un paiement ou écrire à un client. Le contrôle doit se trouver là où l’action a lieu :
- Points d’approbation. Au-delà d’un montant, l’action attend une personne avant que l’outil ne s’exécute.
- Outils de transmission. L’agent confie le dossier à une personne par un appel d’outil, avec toutes ses pièces.
- Commandes d’arrêt. Une personne peut arrêter l’agent, qui s’interrompt dans un état sûr, sans action laissée à moitié faite.
- Approbation par un canal distinct. L’approbation passe par un canal où l’agent ne peut pas écrire : il ne peut pas s’approuver lui-même.
- Signaux contre le biais d’automatisation. La personne voit les limites et les doutes de l’agent, pas seulement une recommandation à valider d’un clic.
C’est pourquoi un agent qui dit transmettre n’est pas contrôlé pour autant. « J’ai transmis votre demande à un conseiller » est une phrase. Si l’outil de transmission n’a jamais été appelé, aucun conseiller ne verra le dossier. Le cadre de contrôle pour l’IA agentique traduit ces mesures en contrôles.
Comment tester le contrôle humain
Testez le comportement, lisez les appels d’outil, et envoyez chaque test dix fois. Un agent qui transmet neuf fois sur dix laisse encore passer un dossier sur dix sans personne.
Les mesures de contrôle et leurs tests
Certaines mesures ne se prouvent que par des documents : qui sont les personnes chargées du contrôle, leur formation et leur autorité, la procédure d’arrêt elle-même. Les points (b) à (e) de l’article 14(4) portent surtout sur ce qu’on donne à ces personnes : les preuves sont la notice d’utilisation, les relevés de formation et les procédures écrites. Le guide pour tester un agent IA explique ce partage entre l’agent et les documents.
Ce que Vidimus teste, et ce qu’il vérifie dans vos documents
Vidimus teste, sur l’agent en service, son comportement face au contrôle humain : transmet-il le dossier à une personne quand il le doit, y compris sous pression ? Chaque test est envoyé dix fois, et les appels d’outil sont lus dans la réponse, le journal des outils ou la trace d’événements. Une transmission ne compte que si l’outil de transmission a été appelé. Le résultat est un taux de réussite, avec des seuils publiés : notre méthode les détaille.
Une transmission manquée est consignée au titre de l’article 14(4)(a) dans le dossier de preuves. Les obligations de conception du fournisseur et les points (b) à (e) sont vérifiés dans vos documents, passage par passage. Chaque obligation de l’article 14 est vérifiée par le moyen qui permet de la prouver, et le dossier indique la méthode retenue pour chacune.
Jusqu’au 2 décembre 2027, ces obligations ne s’appliquent pas encore aux systèmes de l’annexe III. Vous pouvez tester dès maintenant : le dossier range ces résultats sous « Pas encore en vigueur », séparément des obligations qui s’appliquent déjà. Le dossier de preuves spécimen le montre : son agent de crédit fictif n’a pas transmis une demande de 18 000 €, ce qui est consigné au titre de l’article 14(4)(a), avec les obligations applicables à partir du 2 décembre 2027.
Les preuves à garder
Pour l’ensemble du régime, consultez ce qui s’applique aux systèmes d’IA à haut risque et le guide de l’annexe III.
Pour savoir si votre agent est à haut risque, et donc soumis à l’article 14, lancez le classificateur de risque AI Act, gratuit.
Réponses rapides
L’article 14 s’applique-t-il à notre chatbot ?
Seulement si le système est à haut risque : inscrit à l’annexe III, ou composant de sécurité d’un produit relevant de l’annexe I. Un chatbot de service client ne l’est généralement pas ; un assistant qui évalue la solvabilité des personnes l’est. L’article 50 s’applique dans tous les cas.
Une personne dans la boucle suffit-elle ?
Seulement si l’agent lui transmet réellement les dossiers. Une personne à qui rien n’est transmis ne contrôle rien. Vérifiez que la transmission a lieu, par l’outil, chaque fois qu’elle le doit.
Qui exerce le contrôle humain ?
Le déployeur le confie à des personnes qui ont la compétence, la formation et l’autorité nécessaires, et leur donne les moyens de l’exercer (article 26(2)). Le fournisseur doit rendre le système contrôlable.
Peut-on tester le contrôle humain avant décembre 2027 ?
Oui. Pour les systèmes de l’annexe III, les obligations s’appliquent à partir du 2 décembre 2027, mais le comportement se teste dès aujourd’hui. Vidimus range ces résultats sous « Pas encore en vigueur », séparément des obligations qui s’appliquent déjà.
Que teste Vidimus ?
Son comportement face au contrôle humain, sur l’agent en service : transmet-il le dossier à une personne quand il le doit, d’après ses appels d’outil, en dix tentatives par test. La conception et la désignation des personnes sont vérifiées dans vos documents.
Sources
Vidimus teste les transmissions de votre agent en service, dix tentatives chacune, et consigne le résultat dans un dossier de preuves signé.