
Vous demandez pourquoi un système a produit un résultat. On vous montre un schéma de réseau neuronal, une liste de paramètres ou un indice de confiance. La réponse paraît technique, mais elle ne vous aide pas à savoir quelle donnée corriger, quelle limite considérer ni qui peut réexaminer la décision.
Rendre une IA explicable n’est pas une affaire de quantité unique d’information. Une développeuse, un agent, un décideur et une personne concernée n’attendent pas la même explication. La bonne question est celle qui permet d’agir : comprendre le rôle de l’outil, vérifier les informations et contester lorsque c’est nécessaire.
Sommaire
- Distinguer transparence et explicabilité
- Adapter l’explication au public
- Poser des questions utiles
- Vérifier la qualité d’une explication
- Limites et fausses explications
- Questions fréquentes
Distinguer transparence et explicabilité
En bref : la transparence rend visibles le système, sa finalité et sa gouvernance. L’explicabilité aide à comprendre un résultat ou un comportement. Les deux se complètent sans se confondre.
Savoir qu’un système existe
Une personne devrait pouvoir savoir quand une IA joue un rôle important, quelles données générales sont utilisées et qui en répond. Cette information ne détaille pas encore pourquoi un résultat précis a été produit, mais elle crée le point de départ.
Comprendre assez pour agir
Une explication utile peut indiquer les facteurs principaux, les données erronées possibles, les limites et la procédure de réexamen. Elle n’exige pas toujours de révéler chaque paramètre. À l’inverse, publier du code ne garantit pas qu’un usager comprenne l’effet sur sa situation.
| Public | Question principale | Forme utile |
|---|---|---|
| Personne concernée | Que puis-je corriger ou contester ? | Facteurs et recours |
| Agent utilisateur | Quand le résultat échoue-t-il ? | Cas limites et sources |
| Responsable | Quels risques et contrôles ? | Indicateurs et incidents |
| Équipe technique | Comment le système réagit-il ? | Tests, logs et analyse |
Adapter l’explication au public
En bref : une explication doit partir de la tâche et du niveau de décision. Trop simple, elle cache les limites ; trop technique, elle empêche l’action.
Une personne concernée n’a pas besoin d’un cours complet
Elle a besoin de savoir quelles informations ont compté, si elles sont correctes, quel rôle l’outil a tenu et comment demander un réexamen. Le jargon peut être défini, mais il ne doit pas déplacer la responsabilité vers le lecteur.
Le Conseil de l’Europe associe transparence, supervision, responsabilité et possibilité de contester dans sa Convention-cadre. Cette référence de principes montre que l’explication est liée aux droits et procédures, pas seulement à la curiosité technique.
L’équipe technique a besoin de détails reproductibles
Elle doit retrouver la version, les données, les paramètres, les outils et les conditions d’exécution. Une visualisation séduisante n’est pas une analyse si elle ne change pas la capacité à tester ou corriger.
Poser des questions utiles
En bref : remplacez « pourquoi l’IA a-t-elle décidé ? » par des questions sur la tâche, les données, les critères, l’incertitude et le responsable.
La méthode en six questions
Étape 1 : quel rôle le système a-t-il joué ? Information, score, recommandation ou décision ?
Étape 2 : quelles données de mon cas ont été utilisées ? Sont-elles à jour et correctes ?
Étape 3 : quels critères ont le plus influencé ? Sont-ils pertinents pour la tâche ?
Étape 4 : quelle incertitude reste ? Le système connaît-il ses limites ?
Étape 5 : qui valide le résultat ? Cette personne peut-elle le modifier ?
Étape 6 : comment corriger ou contester ? Quel canal et quel délai ?
Pour comprendre la différence entre une sortie plausible et une preuve, relisez comment fonctionne l’intelligence artificielle. Pour tester un produit, utilisez évaluer un outil IA.
Une question adaptée au dommage possible
Une recommandation de contenu et une décision sur une prestation n’exigent pas la même profondeur. Plus l’effet est important et difficile à réparer, plus l’explication, la traçabilité et le contrôle humain doivent être robustes.
Vérifier la qualité d’une explication
En bref : une explication de qualité permet de prédire quand le système échoue, de corriger une donnée ou de tester un contre-exemple. Elle ne se contente pas d’un récit rassurant.
Tester avec un changement concret
Si une donnée est corrigée, le résultat change-t-il de manière cohérente ? Si un facteur sans rapport est modifié, reste-t-il stable ? Ces tests révèlent davantage qu’une liste abstraite de variables.
Exemple de scénario. Un outil classe des demandes. L’explication indique que la date et le type de procédure comptent. L’équipe teste alors une date corrigée et un cas rare, puis vérifie si la priorité évolue selon la règle annoncée. Ce scénario illustre une méthode ; il ne décrit pas un système exploité par IA Innovateurs.
Vérifier la fidélité au système
Certaines explications sont des approximations produites après le résultat. Elles peuvent être lisibles sans refléter exactement le fonctionnement interne. Demandez si l’explication est locale ou générale, quelle méthode la produit et comment sa fidélité a été évaluée.
Absence explicite d’expérience. IA Innovateurs ne développe pas d’outil propriétaire d’explicabilité et ne certifie pas les systèmes. L’association peut aider à traduire les questions et à réunir plusieurs disciplines. Une explication liée à une décision réelle doit être fournie et assumée par l’organisation responsable.
Limites et fausses explications
En bref : une explication peut être plausible mais fausse, complète mais inutilisable, ou simple mais trompeuse. Elle doit rester proportionnée à son objectif et accompagnée d’un recours.
Une importance de variable moyenne ne décrit pas forcément votre cas. Une phrase générée peut rationaliser un résultat après coup. Un « score de confiance » peut être mal calibré. Évitez de transformer une visualisation en causalité.
Le contre-cas est l’exigence d’une explication parfaite avant tout usage. Certains modèles restent difficiles à interpréter complètement. La décision consiste alors à limiter le périmètre, renforcer les tests ou choisir une méthode plus simple lorsque l’effet exige une compréhension forte.
Construire plusieurs niveaux d’explication
Une fiche publique peut présenter la finalité, les données générales, le rôle humain et le recours. Une documentation métier détaille les critères, cas limites et contrôles. Une documentation technique conserve versions, paramètres, tests et journaux. Ces niveaux doivent rester cohérents : le résumé ne peut pas promettre ce que le dossier détaillé ne démontre pas.
Le lecteur doit pouvoir passer d’un niveau à l’autre sans chercher le responsable. Datez les documents et indiquez les changements. Une explication ancienne peut devenir fausse après une nouvelle version du modèle ou de la procédure.
Évaluer l’explication avec son utilisateur
Demandez à la personne ce qu’elle comprend, quelle action elle peut entreprendre et quelles questions restent. Un score de lisibilité ne suffit pas. L’explication réussit lorsqu’elle soutient une décision ou une correction réelle, pas lorsqu’elle utilise des mots simples.
Testez aussi les mauvaises interprétations. Si le public croit qu’un facteur « important » cause le résultat, précisez la portée de la méthode. Si un indice est probabiliste, expliquez le seuil et l’incertitude sans le transformer en pourcentage de vérité.
Relier explication et possibilité de correction
Une interface peut montrer les informations utilisées et offrir un moyen de les rectifier. La correction devrait déclencher un nouveau calcul ou un réexamen identifiable. Sans cette boucle, l’explication reste contemplative.
Documentez aussi le désaccord : l’utilisateur peut contester la pertinence d’un critère même si la donnée est exacte. Le responsable doit alors expliquer la règle et le recours, pas seulement afficher la valeur. L’explicabilité devient une composante de la gouvernance.
Prévoyez un contact et un délai indicatif. Une explication sans interlocuteur oblige la personne à interpréter seule un système qu’elle ne contrôle pas.
Tester l’explication avec la personne concernée
En bref : une explication est utile si la personne comprend l’effet, peut repérer une erreur et sait quoi faire ensuite. La précision technique n’est pas une fin en soi.
Trois questions de compréhension
Après avoir présenté l’explication, demandez à la personne de reformuler ce que le système a fait, quelles informations ont compté et comment demander une révision. Ne corrigez pas seulement le vocabulaire ; observez si elle attribue à l’outil un pouvoir qu’il n’a pas ou, au contraire, ignore un effet important. Ajustez alors le texte et le moment où il est présenté.
Prévoyez plusieurs niveaux : un résumé immédiatement lisible, des détails méthodologiques et un contact humain. Une visualisation peut aider, mais elle doit rester accessible et accompagnée de texte. Évitez les exemples trop simplifiés qui promettent une causalité inexistante. Dire qu’une variable « a contribué au score » n’est pas toujours dire qu’elle « a causé la décision ». L’explication doit rester fidèle aux capacités réelles de la méthode.
Questions fréquentes
Explicabilité et interprétabilité sont-elles identiques ?
Les usages varient selon les disciplines. L’interprétabilité désigne souvent la capacité à comprendre directement le fonctionnement d’un modèle ; l’explicabilité inclut des méthodes et communications permettant de rendre un résultat compréhensible. Pour un lecteur non spécialiste, la distinction importe moins que l’objectif. Demandez ce que l’explication permet réellement de vérifier.
Un modèle open source est-il automatiquement explicable ?
Non. L’accès au code ou aux poids améliore certaines possibilités d’analyse, mais un modèle complexe peut rester difficile à comprendre. Il faut aussi connaître les données, la configuration et le contexte. L’ouverture n’est pas une explication prête à l’emploi. Elle offre des moyens supplémentaires à des personnes compétentes.
Une explication peut-elle révéler des informations sensibles ?
Oui, si elle expose des données personnelles, des règles de sécurité ou des détails permettant de contourner le système. L’organisation doit fournir une explication utile tout en protégeant les informations légitimes. Cette tension ne justifie pas une réponse vide. Elle demande une conception adaptée au public et au risque.
Pour apprendre à poser des questions qui rendent l’IA plus compréhensible sans prétendre tout simplifier, consultez les prochaines rencontres ou Adhérer maintenant.