Le Contrôleur européen de la protection des données (CEPD) vient de publier son “Guidance for Risk Management of Artificial Intelligence systems” destiné aux institutions, bureaux et agences de l’UE afin d’identifier et atténuer les risques significatifs que les systèmes d’IA font peser sur les droits et libertés.
Méthodologie de Gestion des Risques
Le guide s’appuie sur la norme ISO 31000:2018 qui structure la gestion des risques :
- Identification des risques : Reconnaître systématiquement les risques potentiels.
- Analyse des risques : Comprendre la nature, la probabilité et les conséquences de chaque risque.
- Évaluation des risques : Comparer les résultats de l’analyse aux critères de risque de l’organisation pour déterminer si un traitement est nécessaire.
- Traitement des risques : sélectionner et à mettre en œuvre des mesures pour atténuer efficacement les risques identifiés. Le guide se concentre spécifiquement sur les étapes d’
Le cycle de vie de l’IA
Les risques peuvent survenir à différentes phases :
Cycle de vie du développement :
- Conception/Analyse : Définition du problème et sélection de l’architecture du modèle.
- Acquisition et préparation des données : Collecte, formatage et validation des données d’entraînement.
- Développement : Programmation, entraînement, test et réglage des hyperparamètres.
- Vérification et validation : S’assurer que le système répond aux exigences fonctionnelles et non fonctionnelles.
- Déploiement : Mise en production du système dans son environnement final.
- Opération et surveillance : Suivi continu des performances et des mises à jour.
- Validation continue : Pour les systèmes en apprentissage continu, évaluation régulière des performances en production.
- Réévaluation : Analyse des résultats opérationnels pour vérifier si les risques sont bien atténués et identifier de nouveaux risques.
- Retrait : Mise hors service responsable du système.
Cycle de vie de l’acquisition : Le processus d’acquisition implique la publication d’appels d’offres, la sélection basée sur des critères prédéfinis et une phase d’exécution qui comprend la vérification, le déploiement, la validation, la réévaluation et le retrait du système, similaire au cycle de vie du développement.
Analyse des risques
Les données ne doivent pas être traitées de manière injustifiée, discriminatoire, inattendue ou trompeuse pour la personne concernée. Dans le contexte de l’IA, cela impose aux responsables du traitement d’identifier, de mesurer et d’atténuer les biais qui peuvent conduire à des résultats discriminatoires.
| Risque | Description | Mesures d’atténuation |
| Biais dû au manque de qualité des données d’entraînement | Des données inexactes, incomplètes ou mal étiquetées (“garbage in, garbage out”) conduisent à des sorties erronées et à des biais. | 1. Définir une politique d’assurance qualité des données.
2. Mettre en œuvre une procédure d’évaluation des données. 3. Mener des audits réguliers de la qualité des données. 4. Utiliser des techniques statistiques pour détecter et corriger les erreurs/valeurs aberrantes. 5. Vérifier la validité et la provenance des données. 6. Assurer la standardisation et la cohérence des formats de données. |
| Biais inhérent aux données d’entraînement | Même des données précises peuvent contenir des biais historiques (ex: sous-représentation des femmes PDG) ou des biais d’échantillonnage (ex: données hospitalières principalement urbaines). | 1. S’assurer que les données d’entraînement sont représentatives et diverses.
2. Sélectionner des caractéristiques non biaisées. 3. Appliquer l’ingénierie des caractéristiques pour réduire les biais (ex: repondération). 4. Mener des audits de biais réguliers. 5. Utiliser des techniques d’atténuation des biais (ex: repondération des échantillons sous-représentés). |
| Sura-justement (Overfitting) aux données d’entraînement | Le modèle “mémorise” les données d’entraînement, y compris le bruit, et performe mal sur de nouvelles données. | 1. Arrêt précoce : Stopper l’entraînement dès que la performance sur un jeu de validation se dégrade.
2. Simplification du modèle : Utiliser moins de caractéristiques ou de paramètres. 3. Techniques de régularisation : Ajouter des pénalités à la complexité du modèle. 4. Dropout : Ignorer aléatoirement des neurones pendant l’entraînement d’un réseau de neurones. |
| Biais algorithmique | Le biais provient de la conception même de l’algorithme (ex: choix de fonctions mathématiques, modèles statistiques inadaptés). | 1. Utiliser des algorithmes conçus pour l’équité (“fairness-aware algorithms”).
2. Choisir une fonction objectif qui équilibre précision et équité. 3. Mener des audits de biais réguliers. 4. Tester l’algorithme avec des données diverses. 5. Utiliser des modèles interprétables. 6. Envisager des approches alternatives. |
| Biais d’interprétation | Les analystes tirent des conclusions incorrectes ou biaisées des résultats du modèle, influencés par des préjugés. | 1. Impliquer une équipe diversifiée (experts du domaine, data scientists).
2. Maintenir une documentation claire et transparente du processus d’analyse. 3. Utiliser des techniques d’explicabilité (SHAP, LIME). 4. Former les équipes sur les biais et l’interprétabilité. 5. Mener des audits sur l’interprétation des sorties par les analystes. |
Il faut distinguer l’exactitude juridique (RGPD), qui exige que les données personnelles soient factuellement correctes, de l’exactitude statistique qui est une métrique de performance mesurant la fréquence à laquelle un modèle prédit correctement.
| Risque | Description | Mesures d’atténuation |
| Inexactitude des données personnelles en sortie | Le modèle peut générer des informations incorrectes ou absurdes (“hallucinations”), qui n’étaient ni dans les données d’entraînement ni dans l’entrée. Cela est dû à la nature probabiliste des modèles et à la mauvaise qualité des données. | 1. Utiliser des données d’entraînement de haute qualité.
2. Tester le système avec des cas limites (“edge cases”) et des exemples contradictoires. 3. S’assurer que les données sont diverses et représentatives. 4. Équilibrer les jeux de données pour éviter les biais de classe. 5. Optimiser les hyperparamètres (HPO). 6. Mettre en place une surveillance humaine (Human-in-the-loop, HITL). |
| Sortie inexacte due à la dérive des données (data drift) | Les propriétés statistiques des données d’entrée changent avec le temps (ex: un modèle de scoring de crédit entraîné en période de stabilité économique est utilisé en temps de crise), ce qui dégrade les performances du modèle. | 1. Mettre en œuvre des méthodes de détection de la dérive des données.
2. Surveiller en continu la qualité des données d’entrée. 3. Ré-entraîner régulièrement le modèle avec de nouvelles données. 4. Mettre en place des boucles de rétroaction pour que les utilisateurs signalent les anomalies. |
| Informations peu claires du fournisseur du système d’IA | Lors de l’acquisition d’un système pré-entraîné, un manque d’informations de la part du fournisseur empêche une évaluation correcte des risques. | 1. Exiger une documentation générale sur le fonctionnement du système (spécifications techniques, API).
2. Demander des informations sur la manière dont la transparence, l’interprétabilité et l’explicabilité sont gérées. 3. Exiger des détails sur les mesures de cybersécurité pour l’intégrité du modèle. 4. Obtenir des informations sur la gouvernance des données (collecte, utilisation pour l’entraînement). 5. Demander les procédures et les résultats de validation et de test, y compris les métriques de performance et d’équité. |
Le besoin de vastes ensembles de données pour entraîner les systèmes d’IA entre en tension avec le principe du RGPD selon lequel les données doivent être “adéquates, pertinentes et limitées à ce qui est nécessaire”.
| Risque | Description | Mesures d’atténuation |
| Collecte et stockage indiscriminés de données personnelles | La tendance est de collecter autant de données que possible, ce qui peut conduire à l’accumulation d’informations non nécessaires et violer le principe de minimisation. | 1. Effectuer une pré-évaluation pour identifier les types de données réellement utiles.
2. Utiliser l’échantillonnage des données (“data sampling”) pour entraîner le modèle sur un sous-ensemble représentatif plutôt que sur la totalité des données. 3. Anonymiser ou pseudonymiser les données lorsque cela est possible. |
Les systèmes d’IA sont soumis à des menaces de sécurité informatique générales mais aussi à des menaces spécifiques à l’IA, telles que les attaques par inversion de modèle ou l’empoisonnement des données.
| Risque | Description | Mesures d’atténuation |
| Divulgation de données d’entraînement par les sorties du système | Le modèle peut “fuiter” des informations sensibles sur les individus présents dans les données d’entraînement via des attaques (inversion de modèle, inférence d’appartenance) ou par “régurgitation” textuelle. | 1. Minimiser les données personnelles utilisées.
2. Appliquer des techniques de perturbation des données (généralisation, agrégation, confidentialité différentielle/ajout de bruit). 3. Générer des données synthétiques pour l’entraînement. 4. Mettre en œuvre des mesures pour empêcher la réplication exacte des données d’entraînement dans les sorties. |
| Stockage des données personnelles et violations de données | Les grandes quantités de données stockées pour l’IA augmentent le risque de violations. Une attaque sur l’intégrité (empoisonnement des données) peut fausser les résultats, tandis qu’une attaque sur la confidentialité peut exposer les données des individus. | 1. Anonymiser/pseudonymiser les données lorsque c’est possible.
2. Chiffrer les données au repos. 3. Utiliser des données d’entraînement synthétiques. 4. Appliquer des pratiques de développement sécurisé. 5. Mettre en place une authentification multi-facteurs (MFA) pour l’accès aux systèmes sensibles. |
| Fuite de données personnelles via les API | Les API utilisées pour accéder à des modèles tiers peuvent être vulnérables si elles ne sont pas correctement sécurisées, entraînant un accès non autorisé et des fuites de données. | 1. Mettre en œuvre une authentification forte pour l’accès aux API.
2. Appliquer un contrôle d’accès basé sur les rôles. 3. Utiliser la limitation du débit (“throttling”) pour prévenir les abus. 4. Chiffrer les communications (HTTPS/TLS). 5. Mettre en place la journalisation et la surveillance des appels API. 6. Mener des audits de sécurité et des tests de pénétration réguliers. |
La nature complexe des systèmes d’IA rend difficile l’application des droits des personnes concernées (accès, rectification, effacement), en particulier lorsque les données sont absorbées dans les paramètres d’un modèle.
| Risque | Description | Mesures d’atténuation |
| Identification incomplète des données personnelles traitées | Il est difficile de localiser les données spécifiques d’un individu dans des ensembles de données non structurés ou au sein des paramètres complexes d’un modèle d’apprentissage profond, ce qui entrave l’exercice du droit d’accès. | 1. Conserver des métadonnées détaillées sur les sources et le traitement des données pour faciliter l’identification.
2. Développer des outils de récupération de données pour permettre aux personnes concernées d’accéder à leurs informations. 3. Mettre en œuvre des outils pour détecter la mémorisation du modèle. |
| Rectification ou effacement incomplets | Même si les données sont identifiées, les rectifier ou les effacer d’un modèle déjà entraîné est un défi technique majeur. L’information peut être entremêlée avec les données d’autres individus. | 1. Créer des outils permettant la rectification ou l’effacement des données dans les jeux de données d’entraînement.
2. Utiliser des techniques de “désapprentissage machine” (“machine unlearning”) pour que le modèle oublie sélectivement des points de données. 3. Lorsque le désapprentissage n’est pas viable, utiliser le filtrage des sorties pour bloquer les informations personnelles en temps réel. |