Les algorithmes et “l’automatisation des discriminations”, nouveau sujet d’inquiétude pour la Cnil

A l’heure des débats sur le Stop-covid et de la loi Avia, une mise en garde salutaire sur le Big Brother qui installe la discrimination un peu plus chaque jour.

La Cnil s’engage. Dans l’un de ses derniers avis, publié le 2 juin, le gendarme des données s’inquiète d’un phénomène connu depuis quelques années : le biais algorithmique. En s’associant avec le défenseur des droits, la Commission tire la sonnette d’alarme sur les risques “d’automatisation de la discrimination” que pourrait faire courir “l’usage exponentiel des algorithmes dans toutes les sphères de notre vie”.

Avouant d’emblée que le sujet est “longtemps resté un angle mort du débat public”, les deux organismes présentent le problème de façon relativement simple : les algorithmes étant conçus par des humains et non pas par une “magie technologique”, ils sont le reflet des pratiques et des biais humains. Concrètement, certains systèmes de reconnaissance faciale ont été nourris en grande majorité par des visages “masculins et blancs” et avaient donc plus de difficultés pour identifier les femmes et les personnes non blanches. Même histoire pour certaines technologies d’identification vocale.

Pire encore, certains algorithmes pourraient accentuer les biais et “systémiser les discriminations”. Comme l’explique le rapport, “aux États-Unis comme dans d’autres pays, les contrôles, les arrestations et les lieux où la police décide de patrouiller visent bien davantage les minorités et certains territoires”, et donc fournir à un algorithme ce genre de données le pousserait à suggérer plus de présence policière dans ces territoires, ce qui mènerait à plus de constatations d’infractions qui viendraient ensuite nourrir l’algorithme. Un cercle vicieux qui viendrait stigmatiser “les membres des groupes sociaux déjà défavorisés et dominés”. Le problème est loin d’être purement théorique et est décrit en détail dans le livre “Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor” (St Martin’s Press, non traduit) de Virginia Eubanks.”

Parcoursup dans le viseur

Dans les cas concrets de discrimination algorithmique, le rapport dressé par la Cnil et le défenseur des droits épingle également Parcoursup, en expliquant que “la prise en compte du critère apparemment neutre de l’établissement d’origine par les algorithmes des universités pourrait conduire, indirectement, à discriminer les jeunes d’origine immigrée, compte tenu de la forte ségrégation résidentielle et scolaire notamment observée en Ile-de-France.

"Ces systèmes tendent à davantage cibler et contrôler, et ce faisant stigmatiser, les membres des groupes sociaux déjà défavorisés et dominés"

Sur un autre registre, les conclusions du rapport s’en prennent aussi directement à la récente loi Avia. Le texte qui oblige les grandes plateformes à modérer les contenus “manifestement haineux” en moins de 24 h poussera les éditeurs à se reposer sur des algorithmes eux-mêmes biaisés. Comme le document l’explique, “plusieurs études américaines ont démontré récemment le caractère discriminatoire des principaux modèles de systèmes dits ‘intelligents’ chargés de détecter automatiquement les propos haineux pour les modérer : la probabilité de voir son message signalé comme offensant ou haineux par le système était 1,5 fois plus élevée pour les internautes afro-américains”. Ou comment produire l’effet inverse de celui voulu.

"Renforcer les discriminations en donnant une apparence d’objectivité"

Les algorithmes sont-ils pourtant à jeter ? Le rapport de la Cnil et du défenseur des droits est prudent sur le sujet. Le RGPD fournit quelques armes pour tenter de rattraper le tir. L’article 13 du traité européen oblige les fournisseurs de service à apporter “des informations utiles concernant la logique sous-jacente” d’une décision. Une obligation renforcée par le CRPA (Code des relations entre le public et l’administration) et la loi pour une République numérique de 2018 qui obligent les sites à fournir “les données traitées et leurs sources” ainsi que “les paramètres du traitement et […] de la pondération appliqués à l’intéressé”.

Les deux organismes conseillent également de renforcer la formation juridique et technique sur le sujet, une plus grande transparence dans les traitements algorithmiques et un “regard critique sur les algorithmes” du secteur privé comme du secteur public. Sans cela, impossible d’identifier et de corriger les biais, et les “boîtes noires” continueront cette “automatisation invisible des discriminations” et viendront “renforcer les discriminations en leur donnant une apparence d’objectivité”.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.