Et si… les genres étaient abolis ?

« Notre vie, notre code », « Les algo n’auront pas notre peau ! », « Mon choix n’appartient pas à l’IA », scandent les manifestants en brandissant des pancartes « Stop à la discrimination », « Hommes et femmes même combat !». Aujourd’hui, 8 mars 2038, à l’appel de l’ONG FairAI, plusieurs millions de personnes dans le monde ont défilé pour la Journée internationale de la femme. Leur revendication ? Abolir la distinction de genre afin de réduire les discriminations dans les traitements algorithmiques. Leur inspiration ? La décision en 2011 de la Cour européenne de justice qui a interdit aux assureurs de prendre en compte le sexe des assurés pour déterminer un tarif. À présent, ils espèrent obtenir la ratification d’une convention de l’ONU protégeant les droits humains face à la question algorithmique.
« Les femmes comptent dans la société ! », s’exclame amère Ada L. Son diplôme de roboticienne d’une prestigieuse université devait lui ouvrir toutes les portes, mais elle est au chômage depuis deux ans. Son compagnon, issu de la même formation, a, lui, passé haut la main le test de recrutement d’un géant du secteur. « J’étais major de ma promotion et, avec l’engouement pour les robots compagnons, le secteur est en plein boom. Mais mes candidatures sont systématiquement rejetées sans explications. Tous mes condisciples masculins, eux, ont trouvé un emploi. » Sans son conjoint, elle ne pourrait même pas se loger. « Je ne remplis pas les conditions essentielles exigées par les algorithmes des agences immobilières. » Pourtant, elle refuse de se résigner. « Je suis enceinte de trois mois. J’ai presque honte de l’avouer, je souhaite parfois avoir un fils. Pour lui, la vie serait plus facile. Mais, si j’ai une fille, je ne peux pas accepter qu’elle devienne une citoyenne de seconde zone. »
Dans toutes ses antennes, FairAI a mis en place des cellules d’écoute psychologique pour soutenir ceux qui sont écartés de la société par les algorithmes. La marginalisation n’est pas sans conséquence. Outre l’explosion du taux de chômage dans certaines professions, ces trois dernières années, le taux de suicide des femmes a augmenté de 26 %, selon l’Observatoire de l’organisation.

« C’est une question de droits de l’homme. Les algorithmes ne sont pas neutres, ce sont des opinions encapsulées dans du code. Le temps de la consommation dans l’inconscience heureuse est terminé, nous devons agir pour recouvrer notre libre arbitre et la maîtrise de nos vies », affirme Safia N., représentante de FairAI à Paris et directrice du DataIA Institute. La mobilisation d’aujourd’hui n’a pas été simple à organiser. « Les algorithmes sont de vraies boîtes noires. Impossible de savoir si ma candidature à un emploi a été rejetée parce que j’étais une femme, si ma banque me traite plus injustement que mon voisin parce que je suis noire. Confiants et enfermés dans nos bulles individuelles, nous ne soupçonnons pas la manière dont nous sommes “traités” », souligne la data scientist. Hier, simples outils de suggestion, les algorithmes nous imposent désormais leur volonté. Chacun d’entre nous est classé, catégorisé et accède, sur ses média, réseaux et outils connectés, à une version du monde modelée par un filtre numérique personnalisé. Cette barrière invisible isole et la plupart des individus ignorent les discriminations mises en place par les algorithmes. La solution de FairAI pour se faire connaître et réveiller les consciences ? Pirater le système. Grâce à Orwell’s Childs, un collectif d’hackers militants, l’organisation a orchestré une campagne de communication mondiale en saturant les réseaux sociaux avec des témoignages et des informations dévoilant les discriminations.

Si la diffusion de l’information reste difficile, certains lanceurs d’alerte n’hésitent plus à briser le silence. Isaac A. est à présent mondialement connu. Cet informaticien de 35 ans a révélé, dans une interview vidéo diffusée par FairAI, que la multinationale Bestzone, pour laquelle il travaille, n’embauchait plus de femmes depuis plusieurs années. L’algorithme de recrutement estime en effet que les grossesses potentielles sont un frein trop important pour la réussite de l’entreprise et ce malgré les atouts que peuvent représenter les employées féminines compétentes. « En nous reposant sur l’intelligence artificielle, nous pensions nous extraire des préjugés et des inégalités. Mais l’algorithme imite trop bien l’humain. À travers son paramétrage, ses critères de fonctionnement ou les données d’apprentissage qui lui ont été fournies, il est le reflet de biais culturels comme le sexisme ou le racisme », explique Serge D., spécialiste de l’intelligence artificielle et dirigeant de la commission dédiée pour le Parlement français.

« Les algorithmes codifient le passé, ils n’inventent pas le futur. Pour cela, il faut une imagination morale que seuls les humains possèdent. Les systèmes automatisés restent figés tant que des ingénieurs ne se penchent pas dessus pour les modifier », explique Helen O., spécialiste de l’intelligence artificielle. « Les femmes payent aujourd’hui le fait que cette technologie a été concentrée, depuis son éclosion dans les années 1960, entre des mains masculines. En 2018, près de 90 % des codeurs étaient des hommes. Les algorithmes véhiculent la mentalité, la culture masculine et WASP (White, Anglo-Saxon, Protestant) de leurs concepteurs », estime l’anthropologue Romain L.

Des premiers signes auraient dû nous alerter. Déjà, dans les années 2010, les femmes étaient les proies du système, rejetées de certaines entreprises sur le seul motif de leur sexe. Un développeur de logiciels est par définition… un homme. C’était en tout cas le verdict de l’algorithme du programme secret de recrutement d’Amazon en 2015. Pour définir le profil des futurs talents du groupe, il s’appuyait sur les CV reçus au cours des dix dernières années. Le secteur des nouvelles technologies étant en majorité masculin, la plupart des candidatures étaient le fait d’hommes. Déduisant que les candidats masculins étaient préférables pour ces postes, l’algorithme rejetait les candidatures où figurait une référence féminine. Une faille majeure qui a poussé le géant du e-commerce à abandonner le projet.

Le scandale Bestzone mis en lumière par Isaac A. a poussé FairAI à intensifier ses actions. Née il y a cinq ans, l’organisation, composée au départ de quelques data scientists et de juristes, est devenue un véritable lobby. Son but ? Imposer des algorithmes basés sur l’égalité et influer sur les gouvernements. « Il ne faut pas attendre de l’économie actuelle, celle du libre marché, qu’elle remédie d’elle-même aux inégalités que créent les algorithmes », déclare Helen O. Elle milite pour que le Congrès américain impose une régulation des algorithmes qui notent les humains car les dispositifs évaluateurs se sont multipliés sans aucun contrôle. « Si vous vous posez des questions sur votre score, vous devriez être en mesure de réclamer le rapport qui renferme toutes les informations entrant dans son calcul pour pouvoir les contester et les rectifier. Et aussi bénéficier de recommandations permettant de vous améliorer », explique Helen O.
Nous sommes au paroxysme d’un phénomène qui n’est pas récent : Predictim, Fama… En 2018, les entreprises étaient déjà nombreuses à noter les être humains en se basant uniquement sur les informations présentes sur leurs réseaux sociaux. Predictim était un service en ligne qui se vantait d’utiliser « l’intelligence artificielle avancée » pour trouver la parfaite baby-sitter. Un scan des publications sur les réseaux sociaux de la candidate potentielle devait permettre d’évaluer sa politesse, sa capacité à travailler avec d’autres personnes mais aussi son risque de tomber dans la drogue ou de devenir une harceleuse. Une évaluation plus que douteuse. Aujourd’hui, tous les travailleurs ont intégré que leur notation sur les réseaux sociaux est un critère essentiel de recrutement.
D’autant que noter les individus n’est pas que l’apanage des entreprises. Le gouvernement chinois attribue un score à chacun de ses citoyens, en s’appuyant sur leurs habitudes d’achats, leurs capacités à payer leurs factures mais aussi sur le choix de leurs amis en ligne et leur comportement civique. Une mauvaise note vous empêche de prendre l’avion, d’aller dans une bonne université, d’obtenir un prêt ou même d’épouser la bonne personne.

« Être le candidat idéal ? Mettre les algorithmes de votre côté, vous en rêvez ? C’est possible avec Be First ! » Be First brasse des milliards. La promesse de cette agence spécialisée dans la valorisation de votre comportement ? Une embauche ou l’obtention d’un prêt assuré contre plusieurs dizaines de milliers de dollars. Comptant dans ses rangs des spécialistes de l’intelligence artificielle, Be First corrige vos erreurs en ligne, vous dicte une ligne de conduite et s’arrange pour faire remonter votre demande sur le dessus de la pile en trouvant les failles des systèmes. « Nous répondons à un besoin. En Chine, le credit scoring est contrôlé par l’État, en Occident, c’est la loi du dollar qui s’applique », évalue Howard L., le fondateur de Be First. En l’absence de réglementation, les perspectives de croissance de la société sont d’ailleurs au beau fixe avec l’engouement pour les scores de santé. Indice de masse corporelle, nombre de pas effectués, habitudes de sommeil, scan de votre visage pour détecter des signes de dépression… autant de facteurs qui peuvent désormais transformer votre vie en enfer.

En janvier 2015, à l’initiative de Stuart Russel, un spécialiste de l’intelligence artificielle, une dizaine de chercheurs signaient une lettre ouverte : « Les progrès en intelligence artificielle sont tels qu’aujourd’hui il faut concentrer les travaux non seulement sur des IA plus performantes mais également sur la poursuite d’une IA la plus bénéfique possible pour la société. » Une ligne de conduite qui désormais appartient au passé. Pour Nohra B., la recherche a aussi son rôle à jouer : « Il faut inventer de nouveaux modèles mathématiques capables d’identifier les variables discriminatoires et de réduire leurs impacts. Par exemple, nous pouvons quantifier les lois antidiscriminations en contraintes interprétables par des machines et les modèles développés seront ainsi basés ces dernières. » Des algorithmes qui améliorent la société, l’idée fait encore recette. « Les algorithmes sont des outils qui peuvent nous permettre de construire un monde meilleur, mais c’est à la société de définir ce qu’elle veut en termes d’équité. Dans deux jours, l’ONU doit se prononcer sur la création d’une loi antidiscriminations concernant les algorithmes. Elle interdirait notamment la différenciation hommes-femmes », espère Serge D.

« Nous voulons vivre et pas survivre. » Ce soir, impossible de se connecter sur un média ou un réseau social sans voir apparaître ce message suivi d’une vidéo des Orwell’s Childs, où un avatar de Thémis, la déesse de la Justice, prend la parole « Le temps des algorithmes est compté. Nous refusons désormais de nous plier à leurs dogmes et de vivre dans un monde de castes. Si nos gouvernants ne prennent pas leurs responsabilités en imposant la modification des principaux algorithmes, nous les corrigerons nous-mêmes en effaçant tous les biais quitte à faire imploser les systèmes. Ni Dieu, ni maître, ni genre. »

L’intelligence artificielle

Plus qu’une technologie de rupture, c’est un ensemble de techniques qui sont entrées dans nos vies quotidiennes. Les algorithmes analysent, combinent et apprennent d’un grand nombre de données et d’expériences pour cataloguer et noter les individus. Jusqu’où ?

En chiffres
1956 : première apparition de l’expression « Artificial Intelligence ». 2014 : la Chine lance son Social Credit System, une notation de tous les citoyens, qui devrait être effective d’ici à 2020. 2017 : 88 % des chercheurs en intelligence artificielle dans le monde sont des hommes (estimation Element AI).

À lire : Algorithmes, la bombe à retardement, Cathy O’Neil, Les Arènes, 2018 ; « Comment permettre à l’homme de garder la main ? Les enjeux éthiques des algorithmes et de l’intelligence artificielle », rapport de la Cnil, 2017.