{"id":6812,"date":"2025-11-11T22:27:44","date_gmt":"2025-11-11T21:27:44","guid":{"rendered":"https:\/\/mouillere.com\/universconvergents\/?p=6812"},"modified":"2025-11-12T20:34:53","modified_gmt":"2025-11-12T19:34:53","slug":"gestion-des-risques-ia","status":"publish","type":"post","link":"https:\/\/mouillere.com\/universconvergents\/2025\/11\/11\/gestion-des-risques-ia\/","title":{"rendered":"Gestion des risques IA"},"content":{"rendered":"

Le Contr\u00f4leur europ\u00e9en de la protection des donn\u00e9es (CEPD) vient de publier son “Guidance for Risk Management of Artificial Intelligence systems” destin\u00e9 aux institutions, bureaux et agences de l’UE afin d’identifier et att\u00e9nuer les risques significatifs que les syst\u00e8mes d’IA font peser sur les droits et libert\u00e9s.<\/p>\n

<\/p>\n

M\u00e9thodologie de Gestion des Risques<\/h3>\n

Le guide s’appuie sur la norme ISO 31000:2018 qui structure la gestion des risques :<\/p>\n

    \n
  1. Identification des risques<\/b> : Reconna\u00eetre syst\u00e9matiquement les risques potentiels.<\/li>\n
  2. Analyse des risques<\/b> : Comprendre la nature, la probabilit\u00e9 et les cons\u00e9quences de chaque risque.<\/li>\n
  3. \u00c9valuation des risques<\/b> : Comparer les r\u00e9sultats de l’analyse aux crit\u00e8res de risque de l’organisation pour d\u00e9terminer si un traitement est n\u00e9cessaire.<\/li>\n
  4. Traitement des risques :<\/strong>\u00a0s\u00e9lectionner et \u00e0 mettre en \u0153uvre des mesures pour att\u00e9nuer efficacement les risques identifi\u00e9s. Le guide se concentre sp\u00e9cifiquement sur les \u00e9tapes d’<\/li>\n<\/ol>\n

    Le cycle de vie de l’IA<\/h3>\n

    Les risques peuvent survenir \u00e0 diff\u00e9rentes phases :<\/p>\n

    Cycle de vie du d\u00e9veloppement :<\/b><\/p>\n

      \n
    1. Conception\/Analyse<\/b> : D\u00e9finition du probl\u00e8me et s\u00e9lection de l’architecture du mod\u00e8le.<\/li>\n
    2. Acquisition et pr\u00e9paration des donn\u00e9es<\/b> : Collecte, formatage et validation des donn\u00e9es d’entra\u00eenement.<\/li>\n
    3. D\u00e9veloppement<\/b> : Programmation, entra\u00eenement, test et r\u00e9glage des hyperparam\u00e8tres.<\/li>\n
    4. V\u00e9rification et validation<\/b> : S’assurer que le syst\u00e8me r\u00e9pond aux exigences fonctionnelles et non fonctionnelles.<\/li>\n
    5. D\u00e9ploiement<\/b> : Mise en production du syst\u00e8me dans son environnement final.<\/li>\n
    6. Op\u00e9ration et surveillance<\/b> : Suivi continu des performances et des mises \u00e0 jour.<\/li>\n
    7. Validation continue<\/b> : Pour les syst\u00e8mes en apprentissage continu, \u00e9valuation r\u00e9guli\u00e8re des performances en production.<\/li>\n
    8. R\u00e9\u00e9valuation<\/b> : Analyse des r\u00e9sultats op\u00e9rationnels pour v\u00e9rifier si les risques sont bien att\u00e9nu\u00e9s et identifier de nouveaux risques.<\/li>\n
    9. Retrait<\/b> : Mise hors service responsable du syst\u00e8me.<\/li>\n<\/ol>\n

      Cycle de vie de l’acquisition :<\/b> Le processus d’acquisition implique la publication d’appels d’offres, la s\u00e9lection bas\u00e9e sur des crit\u00e8res pr\u00e9d\u00e9finis et une phase d’ex\u00e9cution qui comprend la v\u00e9rification, le d\u00e9ploiement, la validation, la r\u00e9\u00e9valuation et le retrait du syst\u00e8me, similaire au cycle de vie du d\u00e9veloppement.<\/p>\n

      Analyse des risques<\/h3>\n

      Les donn\u00e9es ne doivent pas \u00eatre trait\u00e9es de mani\u00e8re injustifi\u00e9e, discriminatoire, inattendue ou trompeuse pour la personne concern\u00e9e. Dans le contexte de l’IA, cela impose aux responsables du traitement d’identifier, de mesurer et d’att\u00e9nuer les biais qui peuvent conduire \u00e0 des r\u00e9sultats discriminatoires.<\/p>\n\n\n\n\n\n\n\n\n
      Risque<\/strong><\/td>\nDescription<\/strong><\/td>\nMesures d’att\u00e9nuation<\/strong><\/td>\n<\/tr>\n
      Biais d\u00fb au manque de qualit\u00e9 des donn\u00e9es d’entra\u00eenement<\/b><\/td>\nDes donn\u00e9es inexactes, incompl\u00e8tes ou mal \u00e9tiquet\u00e9es (“garbage in, garbage out”) conduisent \u00e0 des sorties erron\u00e9es et \u00e0 des biais.<\/td>\n1. D\u00e9finir une politique d’assurance qualit\u00e9 des donn\u00e9es.<\/p>\n

      2. Mettre en \u0153uvre une proc\u00e9dure d’\u00e9valuation des donn\u00e9es.<\/p>\n

      3. Mener des audits r\u00e9guliers de la qualit\u00e9 des donn\u00e9es.<\/p>\n

      4. Utiliser des techniques statistiques pour d\u00e9tecter et corriger les erreurs\/valeurs aberrantes.<\/p>\n

      5. V\u00e9rifier la validit\u00e9 et la provenance des donn\u00e9es.<\/p>\n

      6. Assurer la standardisation et la coh\u00e9rence des formats de donn\u00e9es.<\/td>\n<\/tr>\n

      Biais inh\u00e9rent aux donn\u00e9es d’entra\u00eenement<\/b><\/td>\nM\u00eame des donn\u00e9es pr\u00e9cises peuvent contenir des biais historiques (ex: sous-repr\u00e9sentation des femmes PDG) ou des biais d’\u00e9chantillonnage (ex: donn\u00e9es hospitali\u00e8res principalement urbaines).<\/td>\n1. S’assurer que les donn\u00e9es d’entra\u00eenement sont repr\u00e9sentatives et diverses.<\/p>\n

      2. S\u00e9lectionner des caract\u00e9ristiques non biais\u00e9es.<\/p>\n

      3. Appliquer l’ing\u00e9nierie des caract\u00e9ristiques pour r\u00e9duire les biais (ex: repond\u00e9ration).<\/p>\n

      4. Mener des audits de biais r\u00e9guliers.<\/p>\n

      5. Utiliser des techniques d’att\u00e9nuation des biais (ex: repond\u00e9ration des \u00e9chantillons sous-repr\u00e9sent\u00e9s).<\/td>\n<\/tr>\n

      Sura-justement (Overfitting) aux donn\u00e9es d’entra\u00eenement<\/b><\/td>\nLe mod\u00e8le “m\u00e9morise” les donn\u00e9es d’entra\u00eenement, y compris le bruit, et performe mal sur de nouvelles donn\u00e9es.<\/td>\n1. Arr\u00eat pr\u00e9coce : Stopper l’entra\u00eenement d\u00e8s que la performance sur un jeu de validation se d\u00e9grade.<\/p>\n

      2. Simplification du mod\u00e8le : Utiliser moins de caract\u00e9ristiques ou de param\u00e8tres.<\/p>\n

      3. Techniques de r\u00e9gularisation : Ajouter des p\u00e9nalit\u00e9s \u00e0 la complexit\u00e9 du mod\u00e8le.<\/p>\n

      4. Dropout : Ignorer al\u00e9atoirement des neurones pendant l’entra\u00eenement d’un r\u00e9seau de neurones.<\/td>\n<\/tr>\n

      Biais algorithmique<\/b><\/td>\nLe biais provient de la conception m\u00eame de l’algorithme (ex: choix de fonctions math\u00e9matiques, mod\u00e8les statistiques inadapt\u00e9s).<\/td>\n1. Utiliser des algorithmes con\u00e7us pour l’\u00e9quit\u00e9 (“fairness-aware algorithms”).<\/p>\n

      2. Choisir une fonction objectif qui \u00e9quilibre pr\u00e9cision et \u00e9quit\u00e9.<\/p>\n

      3. Mener des audits de biais r\u00e9guliers.<\/p>\n

      4. Tester l’algorithme avec des donn\u00e9es diverses.<\/p>\n

      5. Utiliser des mod\u00e8les interpr\u00e9tables.<\/p>\n

      6. Envisager des approches alternatives.<\/td>\n<\/tr>\n

      Biais d’interpr\u00e9tation<\/b><\/td>\nLes analystes tirent des conclusions incorrectes ou biais\u00e9es des r\u00e9sultats du mod\u00e8le, influenc\u00e9s par des pr\u00e9jug\u00e9s.<\/td>\n1. Impliquer une \u00e9quipe diversifi\u00e9e (experts du domaine, data scientists).<\/p>\n

      2. Maintenir une documentation claire et transparente du processus d’analyse.<\/p>\n

      3. Utiliser des techniques d’explicabilit\u00e9 (SHAP, LIME).<\/p>\n

      4. Former les \u00e9quipes sur les biais et l’interpr\u00e9tabilit\u00e9.<\/p>\n

      5. Mener des audits sur l’interpr\u00e9tation des sorties par les analystes.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

      Il faut distinguer l’exactitude juridique (RGPD), qui exige que les donn\u00e9es personnelles soient factuellement correctes, de l’exactitude statistique qui est une m\u00e9trique de performance mesurant la fr\u00e9quence \u00e0 laquelle un mod\u00e8le pr\u00e9dit correctement.<\/p>\n\n\n\n\n\n\n
      Risque<\/strong><\/td>\nDescription<\/strong><\/td>\nMesures d’att\u00e9nuation<\/strong><\/td>\n<\/tr>\n
      Inexactitude des donn\u00e9es personnelles en sortie<\/b><\/td>\nLe mod\u00e8le peut g\u00e9n\u00e9rer des informations incorrectes ou absurdes (“hallucinations”), qui n’\u00e9taient ni dans les donn\u00e9es d’entra\u00eenement ni dans l’entr\u00e9e. Cela est d\u00fb \u00e0 la nature probabiliste des mod\u00e8les et \u00e0 la mauvaise qualit\u00e9 des donn\u00e9es.<\/td>\n1. Utiliser des donn\u00e9es d’entra\u00eenement de haute qualit\u00e9.<\/p>\n

      2. Tester le syst\u00e8me avec des cas limites (“edge cases”) et des exemples contradictoires.<\/p>\n

      3. S’assurer que les donn\u00e9es sont diverses et repr\u00e9sentatives.<\/p>\n

      4. \u00c9quilibrer les jeux de donn\u00e9es pour \u00e9viter les biais de classe.<\/p>\n

      5. Optimiser les hyperparam\u00e8tres (HPO).<\/p>\n

      6. Mettre en place une surveillance humaine (Human-in-the-loop, HITL).<\/td>\n<\/tr>\n

      Sortie inexacte due \u00e0 la d\u00e9rive des donn\u00e9es (data drift)<\/b><\/td>\nLes propri\u00e9t\u00e9s statistiques des donn\u00e9es d’entr\u00e9e changent avec le temps (ex: un mod\u00e8le de scoring de cr\u00e9dit entra\u00een\u00e9 en p\u00e9riode de stabilit\u00e9 \u00e9conomique est utilis\u00e9 en temps de crise), ce qui d\u00e9grade les performances du mod\u00e8le.<\/td>\n1. Mettre en \u0153uvre des m\u00e9thodes de d\u00e9tection de la d\u00e9rive des donn\u00e9es.<\/p>\n

      2. Surveiller en continu la qualit\u00e9 des donn\u00e9es d’entr\u00e9e.<\/p>\n

      3. R\u00e9-entra\u00eener r\u00e9guli\u00e8rement le mod\u00e8le avec de nouvelles donn\u00e9es.<\/p>\n

      4. Mettre en place des boucles de r\u00e9troaction pour que les utilisateurs signalent les anomalies.<\/td>\n<\/tr>\n

      Informations peu claires du fournisseur du syst\u00e8me d’IA<\/b><\/td>\nLors de l’acquisition d’un syst\u00e8me pr\u00e9-entra\u00een\u00e9, un manque d’informations de la part du fournisseur emp\u00eache une \u00e9valuation correcte des risques.<\/td>\n1. Exiger une documentation g\u00e9n\u00e9rale sur le fonctionnement du syst\u00e8me (sp\u00e9cifications techniques, API).<\/p>\n

      2. Demander des informations sur la mani\u00e8re dont la transparence, l’interpr\u00e9tabilit\u00e9 et l’explicabilit\u00e9 sont g\u00e9r\u00e9es.<\/p>\n

      3. Exiger des d\u00e9tails sur les mesures de cybers\u00e9curit\u00e9 pour l’int\u00e9grit\u00e9 du mod\u00e8le.<\/p>\n

      4. Obtenir des informations sur la gouvernance des donn\u00e9es (collecte, utilisation pour l’entra\u00eenement).<\/p>\n

      5. Demander les proc\u00e9dures et les r\u00e9sultats de validation et de test, y compris les m\u00e9triques de performance et d’\u00e9quit\u00e9.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

      Le besoin de vastes ensembles de donn\u00e9es pour entra\u00eener les syst\u00e8mes d’IA entre en tension avec le principe du RGPD selon lequel les donn\u00e9es doivent \u00eatre “ad\u00e9quates, pertinentes et limit\u00e9es \u00e0 ce qui est n\u00e9cessaire”.<\/p>\n\n\n\n\n
      Risque<\/strong><\/td>\nDescription<\/strong><\/td>\nMesures d’att\u00e9nuation<\/strong><\/td>\n<\/tr>\n
      Collecte et stockage indiscrimin\u00e9s de donn\u00e9es personnelles<\/b><\/td>\nLa tendance est de collecter autant de donn\u00e9es que possible, ce qui peut conduire \u00e0 l’accumulation d’informations non n\u00e9cessaires et violer le principe de minimisation.<\/td>\n1. Effectuer une pr\u00e9-\u00e9valuation pour identifier les types de donn\u00e9es r\u00e9ellement utiles.<\/p>\n

      2. Utiliser l’\u00e9chantillonnage des donn\u00e9es (“data sampling”) pour entra\u00eener le mod\u00e8le sur un sous-ensemble repr\u00e9sentatif plut\u00f4t que sur la totalit\u00e9 des donn\u00e9es.<\/p>\n

      3. Anonymiser ou pseudonymiser les donn\u00e9es lorsque cela est possible.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

      Les syst\u00e8mes d’IA sont soumis \u00e0 des menaces de s\u00e9curit\u00e9 informatique g\u00e9n\u00e9rales mais aussi \u00e0 des menaces sp\u00e9cifiques \u00e0 l’IA, telles que les attaques par inversion de mod\u00e8le ou l’empoisonnement des donn\u00e9es.<\/p>\n\n\n\n\n\n\n
      Risque<\/strong><\/td>\nDescription<\/strong><\/td>\nMesures d’att\u00e9nuation<\/strong><\/td>\n<\/tr>\n
      Divulgation de donn\u00e9es d’entra\u00eenement par les sorties du syst\u00e8me<\/b><\/td>\nLe mod\u00e8le peut “fuiter” des informations sensibles sur les individus pr\u00e9sents dans les donn\u00e9es d’entra\u00eenement via des attaques (inversion de mod\u00e8le, inf\u00e9rence d’appartenance) ou par “r\u00e9gurgitation” textuelle.<\/td>\n1. Minimiser les donn\u00e9es personnelles utilis\u00e9es.<\/p>\n

      2. Appliquer des techniques de perturbation des donn\u00e9es (g\u00e9n\u00e9ralisation, agr\u00e9gation, confidentialit\u00e9 diff\u00e9rentielle\/ajout de bruit).<\/p>\n

      3. G\u00e9n\u00e9rer des donn\u00e9es synth\u00e9tiques pour l’entra\u00eenement.<\/p>\n

      4. Mettre en \u0153uvre des mesures pour emp\u00eacher la r\u00e9plication exacte des donn\u00e9es d’entra\u00eenement dans les sorties.<\/td>\n<\/tr>\n

      Stockage des donn\u00e9es personnelles et violations de donn\u00e9es<\/b><\/td>\nLes grandes quantit\u00e9s de donn\u00e9es stock\u00e9es pour l’IA augmentent le risque de violations. Une attaque sur l’int\u00e9grit\u00e9 (empoisonnement des donn\u00e9es) peut fausser les r\u00e9sultats, tandis qu’une attaque sur la confidentialit\u00e9 peut exposer les donn\u00e9es des individus.<\/td>\n1. Anonymiser\/pseudonymiser les donn\u00e9es lorsque c’est possible.<\/p>\n

      2. Chiffrer les donn\u00e9es au repos.<\/p>\n

      3. Utiliser des donn\u00e9es d’entra\u00eenement synth\u00e9tiques.<\/p>\n

      4. Appliquer des pratiques de d\u00e9veloppement s\u00e9curis\u00e9.<\/p>\n

      5. Mettre en place une authentification multi-facteurs (MFA) pour l’acc\u00e8s aux syst\u00e8mes sensibles.<\/td>\n<\/tr>\n

      Fuite de donn\u00e9es personnelles via les API<\/b><\/td>\nLes API utilis\u00e9es pour acc\u00e9der \u00e0 des mod\u00e8les tiers peuvent \u00eatre vuln\u00e9rables si elles ne sont pas correctement s\u00e9curis\u00e9es, entra\u00eenant un acc\u00e8s non autoris\u00e9 et des fuites de donn\u00e9es.<\/td>\n1. Mettre en \u0153uvre une authentification forte pour l’acc\u00e8s aux API.<\/p>\n

      2. Appliquer un contr\u00f4le d’acc\u00e8s bas\u00e9 sur les r\u00f4les.<\/p>\n

      3. Utiliser la limitation du d\u00e9bit (“throttling”) pour pr\u00e9venir les abus.<\/p>\n

      4. Chiffrer les communications (HTTPS\/TLS).<\/p>\n

      5. Mettre en place la journalisation et la surveillance des appels API.<\/p>\n

      6. Mener des audits de s\u00e9curit\u00e9 et des tests de p\u00e9n\u00e9tration r\u00e9guliers.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

      La nature complexe des syst\u00e8mes d’IA rend difficile l’application des droits des personnes concern\u00e9es (acc\u00e8s, rectification, effacement), en particulier lorsque les donn\u00e9es sont absorb\u00e9es dans les param\u00e8tres d’un mod\u00e8le.<\/p>\n\n\n\n\n\n
      Risque<\/strong><\/td>\nDescription<\/strong><\/td>\nMesures d’att\u00e9nuation<\/strong><\/td>\n<\/tr>\n
      Identification incompl\u00e8te des donn\u00e9es personnelles trait\u00e9es<\/b><\/td>\nIl est difficile de localiser les donn\u00e9es sp\u00e9cifiques d’un individu dans des ensembles de donn\u00e9es non structur\u00e9s ou au sein des param\u00e8tres complexes d’un mod\u00e8le d’apprentissage profond, ce qui entrave l’exercice du droit d’acc\u00e8s.<\/td>\n1. Conserver des m\u00e9tadonn\u00e9es d\u00e9taill\u00e9es sur les sources et le traitement des donn\u00e9es pour faciliter l’identification.<\/p>\n

      2. D\u00e9velopper des outils de r\u00e9cup\u00e9ration de donn\u00e9es pour permettre aux personnes concern\u00e9es d’acc\u00e9der \u00e0 leurs informations.<\/p>\n

      3. Mettre en \u0153uvre des outils pour d\u00e9tecter la m\u00e9morisation du mod\u00e8le.<\/td>\n<\/tr>\n

      Rectification ou effacement incomplets<\/b><\/td>\nM\u00eame si les donn\u00e9es sont identifi\u00e9es, les rectifier ou les effacer d’un mod\u00e8le d\u00e9j\u00e0 entra\u00een\u00e9 est un d\u00e9fi technique majeur. L’information peut \u00eatre entrem\u00eal\u00e9e avec les donn\u00e9es d’autres individus.<\/td>\n1. Cr\u00e9er des outils permettant la rectification ou l’effacement des donn\u00e9es dans les jeux de donn\u00e9es d’entra\u00eenement.<\/p>\n

      2. Utiliser des techniques de “d\u00e9sapprentissage machine” (“machine unlearning”) pour que le mod\u00e8le oublie s\u00e9lectivement des points de donn\u00e9es.<\/p>\n

      3. Lorsque le d\u00e9sapprentissage n’est pas viable, utiliser le filtrage des sorties pour bloquer les informations personnelles en temps r\u00e9el.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n