Le cycle de validation IA
Quatre boucles que chaque initiative IA doit fermer avant de mériter une ligne budgétaire.
- Juridictions
- États-Unis (réseau hospitalier des anciens combattants) ; normes internationales (ISO/IEC, ILAC/OIML) ; huit États membres de l'UEMOA
- Période de preuve
- 2017-2024
- Grade de preuve publique
- SEG-5 (plage SEG-1 – SEG-5)
L'affirmation
Un conseil approuve un système d'IA à une date. Les données, le processus et la population qu'il va scorer en portent d'autres, et l'autorisation ne fixe aucune échéance : c'est affirmer qu'ils ne bougent pas. Ils bougent. Notre position : la validation est un cycle, pas un événement. Toute autorisation d'IA porte un intervalle de revalidation, un exécutant et un budget nommés, et un déclencheur de retrait, la condition à laquelle le système s'arrête au lieu d'être réentraîné. Sans échéance, ce n'est pas de la gouvernance.
Les faits
La dégradation est l'ordinaire.
Une analyse de la dégradation temporelle portant sur 128 couples (modèle, jeu de données), couvrant exploitation hospitalière, transport, finance et météorologie, avec quatre familles standard de modèles d'apprentissage automatique, observe une dégradation temporelle dans 91 % des cas et la distingue de la dérive conceptuelle et de l'apprentissage continu, phénomènes voisins mais séparés.
Elle se voit d'abord dans l'étalonnage, pas dans l'exactitude.
Sur sept modèles parallèles, de régression et d'apprentissage automatique, prédisant l'insuffisance rénale aiguë acquise à l'hôpital et développés sur les admissions nationales du Department of Veterans Affairs américain, les baisses de pouvoir discriminant dans le temps sont statistiquement significatives mais faibles, alors que l'étalonnage se dégrade, la dérive observée étant rattachée à des déplacements de la population de patients.
Crédit, provisionnement, tarification et seuils de fraude se règlent sur l'étalonnage : un conseil à qui l'on montre une courbe d'exactitude regarde l'indicateur qui lâche en dernier.
ISO/IEC 17025:2017 exige du laboratoire l'établissement d'un programme d'étalonnage, revu et ajusté autant que nécessaire pour maintenir la confiance dans l'état d'étalonnage (article 6.4.7) ; ILAC-G24 / OIML D 10, édition 2022 (E), expose les méthodes de détermination des intervalles, fondées sur l'estimation de la période durant laquelle l'équipement reste dans les limites prescrites après étalonnage et sur l'ajustement de l'intervalle pour optimiser l'équilibre entre risques et coûts.
La dérive arrive plus vite dans le corridor.
Les comptes de monnaie électronique de l'UEMOA ont progressé de 18,99 % en un an, de 209 millions en 2023 à 248 millions en 2024, dont 76,8 millions actifs, soit un taux d'activité de 30,9 % ; sur la même année, le réseau de points de services recule de 5,23 %, de 1 678 067 à 1 590 243 points, et les services financiers numériques contribuent pour 57,2 % au taux global d'inclusion financière de l'Union, estimé à 73,6 %.
La cadence du marché domestique du fournisseur y est optimiste par construction.
Fiches de preuve
CLM-TEMPORAL-MODEL-DEGRADATIONUne dégradation temporelle est observée dans 91 % de 128 couples (modèle, jeu de données) couvrant exploitation hospitalière, transport, finance et météorologie, avec quatre familles standard de modèles, et se distingue de la dérive conceptuelle et de l'apprentissage continu.
- Contexte
- étude évaluée par les pairs, Scientific Reports 12:11654, 2022.
- Méthode
- analyse empirique multisectorielle.
- Preuve contraire
- 91 % est une proportion de couples étudiés, ni un rythme ni une probabilité de déploiement ; jeux de données majoritairement nord américains ; systèmes génératifs hors champ.
- Confiance causale
- aucune pour un déploiement donné.
- Transférabilité
- établit que la dégradation est normale, pas son ampleur.
- Revue
- 2026-08-03.
CLM-CLINICAL-CALIBRATION-DRIFTSur sept modèles parallèles d'insuffisance rénale aiguë acquise à l'hôpital, développés sur les admissions nationales du Department of Veterans Affairs américain, les baisses de pouvoir discriminant sont statistiquement significatives mais faibles alors que l'étalonnage se dégrade, la dérive étant rattachée aux déplacements de la population de patients.
- Contexte
- étude évaluée par les pairs, JAMIA 24(6), 1052-1061, 2017.
- Méthode
- performance suivie sur périodes successives.
- Preuve contraire
- un résultat clinique, un seul système de santé ; l'ordre constaté peut ne pas valoir pour tout modèle commercial.
- Confiance causale
- association rapportée par les auteurs, aucun transfert causal revendiqué.
- Transférabilité
- sens et ordre seulement.
- Revue
- 2026-08-03.
CLM-CALIBRATION-INTERVAL-PRACTICEISO/IEC 17025:2017, article 6.4.7, exige un programme d'étalonnage revu et ajusté pour maintenir la confiance dans l'état d'étalonnage ; ILAC-G24 / OIML D 10, édition 2022 (E), donne les méthodes de détermination des intervalles, par estimation de la durée pendant laquelle l'équipement reste dans les limites prescrites, puis ajustement pour optimiser l'équilibre entre risques et coûts.
- Contexte
- norme et guide internationaux, en vigueur en 2026.
- Méthode
- texte de norme et de guide.
- Preuve contraire
- textes écrits pour les instruments de mesure ; aucun des deux organismes ne traite des systèmes d'IA, et l'analogie n'emporte aucune caution.
- Confiance causale
- aucune, fait institutionnel.
- Transférabilité
- schéma de gouvernance pour les approbations à échéance.
- Revue
- 2026-08-03.
CLM-BCEAO-DFS-GROWTHLes comptes de monnaie électronique de l'UEMOA progressent de 18,99 %, de 209 millions en 2023 à 248 millions en 2024, dont 76,8 millions actifs (30,9 %), tandis que les points de services reculent de 5,23 %, de 1 678 067 à 1 590 243, les services financiers numériques contribuant pour 57,2 % à un taux global d'inclusion financière de 73,6 %.
- Contexte
- rapport annuel de la BCEAO sur les services financiers numériques dans l'UEMOA, édition 2024.
- Méthode
- statistiques de banque centrale auprès des émetteurs supervisés.
- Preuve contraire
- des agrégats sectoriels ne disent rien des entrées ni de la performance d'un modèle ; les comptes comportent des doublons entre émetteurs.
- Confiance causale
- aucune, changement d'environnement affirmé et non dérive mesurée.
- Transférabilité
- déploiements de l'UEMOA scorant des comportements financiers de détail.
- Revue
- 2026-08-03.
CLM-FIRM-REVALIDATION-INTERVALToute autorisation d'IA devrait porter un intervalle de revalidation, un exécutant et un budget nommés, et un déclencheur de retrait ; une approbation sans échéance n'est pas de la gouvernance.
- Contexte
- pratique de la firme dans le corridor UEMOA-euro.
- Méthode
- interprétation construite sur les quatre fiches ci-dessus ; aucun résultat client cité.
- Preuve contraire
- un intervalle fixe peut être moins bon qu'une revalidation déclenchée par événement lorsque les entrées sont stables ; revalider souvent coûte et peut introduire de l'instabilité par surajustement aux données récentes ; les systèmes à faible enjeu ne méritent pas cette machinerie.
- Confiance causale
- aucune.
- Transférabilité
- bornée aux systèmes dont les sorties fixent des limites, des prix ou des seuils.
- Revue
- 2026-08-03.
Les limites
Nous ne disons pas que les modèles sont peu fiables ni que la validation initiale a été mal faite : un résultat de validation est une preuve datée sur un objet mouvant.
L'intervalle s'écrit facilement et se finance difficilement : données locales chez la société opérationnelle, sorties scorées chez le fournisseur, compétence d'étalonnage nulle part, budget ailleurs. Un intervalle sans propriétaire est un intervalle que personne ne tient.
Sources et limites. La règle de revalidation est la position de la firme, notée SEG-1 : nous n'avons trouvé aucun jeu de données comparant des autorisations avec et sans échéance à notre standard. Elle vaut surtout là où les sorties fixent des limites, des prix ou des seuils. Cette note ne vaut ni avis juridique ni avis réglementaire, et un modèle revalidé n'est pas pour autant un modèle juste. Sources vérifiées le 2026-08-03.
Que faire lundi
1. Le secrétaire du conseil inscrit une date d'échéance dans l'autorisation et consigne ce qui se passe si personne n'agit. Sinon l'intervalle est décoratif.
2. Le responsable du modèle nomme par écrit qui revalide, sur les données de qui, sur quel budget.
3. Le directeur des risques consigne le déclencheur de retrait et le responsable local capable de l'actionner dans la semaine. Le réentraînement est la réponse par défaut, pas toujours la bonne.
4. Le responsable du contrat exige un étalonnage daté sur résultats locaux et oblige le fournisseur à déclarer sa cadence de réentraînement. Un modèle réajusté à l'étranger remet le compteur à zéro sans prévenir Abidjan.
Assurance
Relue et contresignée au sein du cabinet avant publication : le responsable de publication n'est pas l'auteur, et la revue des preuves ainsi que l'édition française relèvent d'un second associé. Il s'agit d'une séparation interne des rôles, et non d'une revue externe ou indépendante par des pairs.
STG-PUB-NOTE-AI-VALIDATION-CYCLE
Éditions rendues
- Édition anglaise (PDF) · 4 pages
- Édition française (PDF) · 4 pages
Provenance de cette note
Observation praticienne — ce n'est pas une étude mesurée. Aucune base de référence ni taille d'échantillon n'est publiée pour cette note : elle ne doit pas être lue comme une affirmation chiffrée.
- Responsable
- Bruno Hounkpati · Président exécutif
- Attribution
- Sources publiques nommées citées sur la page, chacune portant son propre niveau de preuve. Revue par Bruno Hounkpati ; publication assurée par Kevin Abel, associé gérant.
- Juridictions
- United States (Veterans Affairs health system), International standards (ISO/IEC, ILAC/OIML), WAEMU member states
- Fenêtre de mesure
- 1 janvier 2017 – 31 décembre 2024
- Base de référence
- Non publiée
- Taille d'échantillon
- Non publiée
- Méthode
- Revue documentaire des sources publiées nommées sur la page. Aucun échantillon contrôlé n'a été constitué et aucune base de référence n'a été mesurée : cette note énonce un argument fondé sur des sources citées, pas une quantité propre.