Le Village de la Justice consacre un article sur les risques de discrimination liés à l’usage des algorithmes, reprenant les analyses et conclusions du Défenseur des droits et de la CNIL.
“A première vue, les algorithmes permettent de trier, classer ou d’ordonner des informations en se débarrassant des préjugés et biais propres aux affects des humains (…) En réalité, il n’y a ni magie technologique ni neutralité mathématique : les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines. Ce faisant, des biais peuvent être ainsi intégrés à toutes les étapes de l’élaboration et du déploiement des systèmes (…) Les concepteurs d’algorithmes, comme les organisations achetant et utilisant ce type de systèmes, n’affichent pas la vigilance nécessaire pour éviter une forme d’automatisation invisible des discriminations (…) L’opacité des systèmes et leur caractère secret constituent un frein à la découverte des biais éventuels”
Le Défenseur des droits recommande la mise en œuvre de dispositifs permettant de prévenir, corriger et sanctionner les discriminations liées aux origines, au sexe, à l’âge, aux choix cultuels, aux orientations politiques, à la santé, etc.:
- une obligation d’audit préalable sur le modèle de l’analyse d’impact relative à la protection des données (Privacy by design / RGPD);
- des obligations en matière d’information et de transparence des algorithmes dans un langage accessible et intelligible;
- un contrôle précis et régulier des résultats de l’algorithme apprenant (IA) pour s’assurer que l’algorithme ne devient pas discriminatoire.