
Vous trouvez un jeu de données officiel et supposez qu’il peut alimenter sans risque une analyse ou un prototype d’IA. Le fichier est bien réel, mais sa dernière mise à jour remonte à plusieurs années, certaines communes manquent et les codes ont changé. La source est publique ; l’usage envisagé, lui, peut rester mauvais.
L’open data et l’IA forment une combinaison prometteuse lorsque la provenance, la documentation et la couverture sont comprises. La qualité n’est pas une médaille attachée au producteur. Elle décrit l’adéquation entre une donnée, une tâche et les conséquences possibles d’une erreur.
Sommaire
- Commencer par les métadonnées
- Examiner le contenu et la couverture
- Relier la qualité à l’usage d’IA
- Documenter les corrections et inconnues
- Les limites d’un score de qualité
- Questions fréquentes
Commencer par les métadonnées
En bref : avant d’ouvrir le fichier, vérifiez qui l’a produit, pourquoi, quand, sur quel territoire et sous quelle licence. Ces informations déterminent ce que vous pouvez comprendre et réutiliser.
Le producteur et la finalité d’origine
Un registre administratif, une enquête et un capteur ne produisent pas la même vérité. Demandez qui collecte, selon quelle définition et pour quelle mission. Une catégorie conçue pour gérer une procédure peut être trop grossière pour analyser un phénomène social.
Le guide de data.gouv.fr pour évaluer la qualité d’un jeu de données recommande d’examiner description, licence, fréquence de mise à jour, couverture temporelle et spatiale, ainsi que documentation. Ce contrôle précède toute modélisation.
La date et la fréquence de mise à jour
Une date récente ne garantit pas que chaque ligne est récente. Regardez la période couverte, la date de collecte et la fréquence annoncée. Si le jeu agrège plusieurs sources, certaines peuvent être plus anciennes. Pour un usage opérationnel, définissez une ancienneté acceptable avant de produire un résultat.
| Métadonnée | Question | Risque si elle manque |
|---|---|---|
| Producteur | Qui répond de la donnée ? | Source impossible à interroger |
| Finalité | Pourquoi a-t-elle été collectée ? | Mauvaise interprétation |
| Mise à jour | Quand le contenu a-t-il changé ? | Décision sur une situation ancienne |
| Couverture | Qui et quoi sont inclus ? | Groupes ou territoires absents |
| Licence | Que permet la réutilisation ? | Usage non autorisé ou mal attribué |
Examiner le contenu et la couverture
En bref : prévisualisez les colonnes, cherchez les valeurs manquantes, contrôlez les unités et comparez quelques lignes à une source indépendante. Une donnée exploitable commence par des anomalies visibles et documentées.
Comprendre chaque colonne
Un nom comme « statut », « score » ou « zone » peut cacher une définition métier. Cherchez le dictionnaire des données, les codes et les changements de version. Vérifiez les unités, formats de date, doublons et valeurs impossibles. Une colonne remplie n’est pas forcément exacte.
Étape 1 : prévisualiser. Regardez plusieurs lignes ordinaires et atypiques.
Étape 2 : compter les absences. Distinguez valeur inconnue, non applicable et erreur de saisie.
Étape 3 : vérifier les distributions. Une concentration surprenante peut révéler un changement de procédure.
Étape 4 : comparer un échantillon. Retournez à des documents ou sources connus.
Étape 5 : noter les transformations. Chaque nettoyage doit rester reproductible.
Rechercher ce qui n’apparaît pas
Une base peut exclure les démarches papier, les personnes qui ne répondent pas à une enquête ou les territoires sans capteur. Ce qui manque peut être plus important que ce qui est enregistré. Avant de comparer deux zones ou groupes, vérifiez que la collecte a été réalisée de manière comparable.
Notre article sur l’IA et l’accessibilité rappelle que les personnes éloignées d’un canal numérique peuvent disparaître des traces, alors qu’elles restent concernées par le service.
Relier la qualité à l’usage d’IA
En bref : une donnée acceptable pour une tendance générale peut être dangereuse pour une décision individuelle. Le niveau de contrôle doit suivre le dommage possible, pas la sophistication du modèle.
Définir la tâche et le coût de l’erreur
Un prototype pédagogique qui montre une carte n’a pas le même enjeu qu’un système qui priorise des contrôles. Décrivez la sortie attendue, la personne concernée et la conséquence d’un faux positif ou d’un faux négatif. Ce cadrage permet de décider si les lacunes sont tolérables.
Illustrative use case. Un jeu de données mensuel peut suffire à observer une tendance territoriale avec des réserves explicites. Le même fichier peut être inadapté pour répondre à une personne aujourd’hui, car sa situation a changé depuis la collecte. Aucun résultat chiffré n’est attribué à ce scénario ; il illustre seulement le changement d’exigence selon l’usage.
Séparer entraînement, test et réalité
Si les mêmes données servent à construire et évaluer un système, le résultat peut paraître meilleur qu’il ne le sera ensuite. Gardez un jeu de test distinct et documentez les périodes. Vérifiez aussi que le test représente les cas rares et les groupes moins présents.
Pour approfondir le protocole, consultez notre guide évaluer un outil IA. Il invite à tester dans le contexte réel plutôt qu’à reprendre un score commercial.
Documenter les corrections et inconnues
En bref : la qualité devient crédible lorsqu’on peut retracer ce qui a été modifié, ce qui reste inconnu et comment un utilisateur peut signaler une erreur.
Une fiche de données lisible
La documentation peut indiquer le producteur, la période, la population, les exclusions, les transformations et les limites. Ajoutez la version du fichier et du code de préparation. Si une valeur est imputée ou estimée, dites-le plutôt que de la présenter comme observée.
Un circuit de correction
Prévoyez où signaler une erreur et comment la correction sera vérifiée. Une mise à jour silencieuse empêche de comprendre pourquoi le résultat change. Les versions et notes de modification servent autant aux réutilisateurs qu’au producteur.
Absence explicite d’expérience. IA Innovateurs n’héberge pas de plateforme de données publiques et n’a pas entraîné de modèle pour une administration. Cette grille s’appuie sur la documentation publique de data.gouv.fr et sur des pratiques générales de vérification. Elle ne certifie aucun jeu précis. Un usage à fort impact exige un audit adapté, des compétences métier et une gouvernance responsable.
Les limites d’un score de qualité
En bref : un score de métadonnées indique si des champs sont renseignés, pas si les données sont vraies ni adaptées à votre décision. Il constitue un premier filtre, jamais un verdict.
Un fichier peut obtenir une bonne note documentaire tout en contenant des erreurs de mesure. À l’inverse, un petit jeu imparfait peut rester utile pour une exploration si ses limites sont explicites. Évitez donc les seuils universels : formulez des critères liés à l’usage.
Le contre-cas classique consiste à nettoyer jusqu’à faire disparaître les anomalies qui racontaient le fonctionnement réel du système. Une valeur extrême n’est pas toujours une erreur. Avant de la supprimer, demandez au producteur ou au métier ce qu’elle signifie.
Surveiller la dérive après la mise en service
Un jeu validé aujourd’hui peut devenir inadéquat lorsque le processus de collecte, le territoire ou les comportements changent. Définissez des alertes sur la fraîcheur, la part de valeurs manquantes et les catégories inconnues. Comparez régulièrement les distributions aux périodes précédentes sans transformer chaque variation en anomalie.
La dérive doit conduire à une décision : mettre à jour, réduire le périmètre, suspendre le résultat ou informer l’utilisateur. Un système qui continue à répondre avec des données anciennes peut sembler stable tout en devenant moins pertinent. Publier la date de dernière mise à jour et la période couverte aide le lecteur à replacer le résultat.
Associer les personnes qui produisent la donnée
Les agents ou équipes de terrain connaissent souvent les raccourcis, retards et changements de définition qui n’apparaissent pas dans le fichier. Leur retour doit faire partie du contrôle. Un audit purement statistique peut manquer une règle métier qui explique une rupture. La gouvernance de la qualité relie donc producteur, réutilisateur et personnes affectées.
Constituer une fiche de qualité minimale
En bref : avant tout modèle, documentez la provenance, la période, la couverture, les valeurs manquantes et les changements de méthode. Cette fiche permet de savoir ce que les données peuvent raisonnablement soutenir.
Cinq rubriques qui évitent les malentendus
Indiquez qui produit le jeu, pourquoi il existe et selon quelle fréquence il est mis à jour. Décrivez l’unité d’observation : personne, dossier, commune, capteur ou événement. Quantifiez les absences et les doublons, puis expliquez les corrections effectuées. Signalez toute rupture de série, par exemple une définition modifiée ou un nouveau canal de collecte. Enfin, nommez un contact capable de répondre aux questions de réutilisation.
Cette documentation doit accompagner les versions successives. Un score obtenu sur une extraction ancienne ne décrit pas automatiquement la situation actuelle. Lorsque plusieurs collectivités mutualisent leurs données, vérifiez aussi que les catégories ont le même sens partout. Deux colonnes portant le même nom peuvent cacher des pratiques de saisie différentes ; les fusionner sans examen crée une précision apparente, mais une comparaison fragile.
Questions fréquentes
« Donnée publique » signifie-t-il « donnée libre de tout usage » ?
Non. Consultez la licence, les conditions de réutilisation et les règles relatives aux données personnelles. Un accès libre n’efface pas les obligations d’attribution ou les limites de finalité. Vérifiez aussi si la donnée a été anonymisée de manière adaptée à votre réutilisation. Pour un projet réel, sollicitez les compétences juridiques nécessaires.
Comment repérer un biais dans un jeu de données ?
Commencez par la méthode de collecte et les absences : qui peut entrer dans le fichier, qui en reste dehors et quelles catégories ont été choisies ? Comparez ensuite la couverture entre périodes et groupes. Un écart n’est pas automatiquement un biais illégitime, mais il demande une explication. Associez toujours une personne connaissant le terrain.
Faut-il supprimer toutes les lignes incomplètes ?
Non. La suppression peut éliminer précisément les situations les moins bien enregistrées. Distinguez les types d’absence et mesurez leur concentration. Documentez toute règle de nettoyage et testez son effet sur le résultat. Lorsque l’incertitude reste forte, réduisez l’ambition de l’usage plutôt que de masquer le problème.
Pour apprendre à questionner données et modèles avec d’autres profils, consultez les prochaines rencontres ou Adhérer maintenant.