Moose-Photos
© Moose-Photos

Plusieurs ratés très médiatiques ont alerté sur les dangers des biais des IA, tantôt racistes, tantôt sexistes. Avec le risque de produire finalement plus d’exclusion que d’inclusion. Alors, quelle confiance accorder aux algorithmes ?

En septembre dernier, des internautes alertaient Twitter d’un biais raciste dans son algorithme d’affichage. Il semblait privilégier les visages blancs aux visages noirs. Un nouveau jalon à la liste déjà longue de couacs découverts dans tous les secteurs (justice, santé, entretiens d’embauche, examens), et qui entament la confiance du public dans les algorithmes. Parmi les dangers régulièrement pointés du doigt, on retrouve des biais variés, les bulles filtrantes ou la reconnaissance faciale mal calibrée.

Alors que l’intelligence artificielle est de plus en plus utilisée comme aide à la décision, tant dans la sphère privée que dans la sphère professionnelle, la question de la finalité des algorithmes se pose avec plus d’acuité. Et avec elle, celle du libre arbitre. En particulier à l’ère du nudge marketing et de l’influence de l’opinion. On peut donc s’interroger : qui prend vraiment la décision ? Jusqu’où faire confiance à l’intelligence artificielle qui nous guide dans nos choix ?

IA, biais : de quoi parle-t-on ?  

Mais avant de sonner la révolte à coup de grève des données, il s’agit d’abord de comprendre ce qu’est l’intelligence artificielle. « L’IA est fortement dépendante de la data : de son utilisation, de sa qualité, de la manière dont on l’utilise dans la création des algorithmes. Ces dépendances aussi bien techniques qu’humaines sont au centre du débat sur les biais, a expliqué Youssef Harchaoui, Responsable des activités Data et IA chez Accenture pour la France et le Benelux, lors d’une soirée spéciale organisée par Accenture et consacrée à l’IA et l’inclusion. C’est-à-dire le fait que le résultat d'un algorithme ne soit pas neutre, loyal ou équitable. »

  • Bulles filtrantes… ou enfermantes ?

Comme, par exemple, être enfermé par des bulles filtrantes qui nous rangent dans certaines catégories d’âge, de genre, géographique ou sociale, et poussent des offres selon ces critères. Avec deux conséquences : réduire la liberté de choix et se retrouver exclu de certaines offres de services. Une autre personne, avec un autre profil, aura des offres et des prix différents… Sans que l’on sache si c’est à notre avantage !  

« Ces critères enferment dans un profil type. Or, l’humain est imprévisible et peut avoir envie d’autre chose que ce que la machine lui propose ! Les bulles filtrantes sont non seulement un processus d’exclusion mais elles touchent aussi à la liberté de choix de l’individu » , alerte ainsi Nozha Boujemaa, experte en IA auprès de l’OCDE et fondatrice de l’Institut Data AI.

  • Reconnaissance faciale biaisée

Autre exemple : la reconnaissance faciale qui déraille dès que l’on s’écarte des profils moyens (généralement un homme blanc ou une femme blanche). « On peut ne pas être reconnu ou être bloqué à un aéroport… Simplement parce que ce système n’a pas été développé pour vous. C’est pourquoi l’inclusivité est très importante. Si on veut vivre dans une société équitable et juste, nous devons prendre en compte la diversité des personnes, au sens large (genres, races, CSP…). Cela se joue dès la conception, en amont » , souligne encore Nozha Boujemaa.

Des biais d’abord issus de la société

Ces biais n’arrivent pas de nulle part. « Une des raisons pour laquelle ces intelligences artificielles peuvent avoir des biais, c’est parce que les équipes de développement sont encore aujourd’hui très majoritairement masculines. Et ce n’est pas normal que des services numériques que l’on va tous utiliser soient développés par 80% d’hommes et 20% de femmes » , souligne Stéphanie Jandard, membre du comité de direction d’Accenture en France et au Benelux, responsable des initiatives Inclusion & Diversité.

Même constat pour Fatie Toko, directrice de la transformation Data et IA du groupe La Poste : « Les biais ont toujours existé, les IA ne font que reproduire les biais de la société. Le problème avec l’IA aujourd’hui, c’est la massification et la difficulté à contrôler. Donc il faut mettre en place une gouvernance pour contrôler, évaluer et s’assurer en amont de la finalité de l’IA. À nous de mettre en place les garde-fous. »  

Évaluer, contrôler et auditer les algorithmes

Comment débusquer un biais ? En aval, la chose est visible. Mais en amont ? « Le biais doit être contrôlé à chaque étape du développement de l'IA. Que ce soit le biais inconscient qui s'infiltre dans les pratiques de l’équipe de développement ou le biais imprévu qui se produit en raison des données sélectionnées/utilisées » , explique Youssef Harchaoui. Ainsi, Accenture dispose de son propre outil de vérification. « On a développé depuis plusieurs années une checklist en interne sur laquelle on s’appuie à chaque fois que l’on développe un modèle d’IA pour vérifier que l’on prenne bien en compte tous ces biais » , précise Stéphanie Jandard.

Soit : analyser dès le début le besoin ou la question à résoudre (la finalité), qualifier le niveau de qualité attendu, regarder la composition de l’équipe (sa représentation) et la méthodologie de développement associée (analyse des données utilisées, algorithmes….). Bref, évaluer, contrôler et auditer les algorithmes à toutes les étapes ou presque. Et ce contrôle pourrait même aller encore bien plus loin.

Soumettre les algorithmes à une autorisation de mise sur le marché ?

L’auditabilité des algorithmes est une notion clé. Il s’agit de vérifier leur reproductibilité pour s’assurer qu’à conditions comparables, ils ne produisent pas des résultats différents. « Toutes les composantes d’un système d’IA doivent pouvoir être auditées. C’est un enjeu crucial. Prenons l'exemple du secteur de la santé, qui s’appuie de plus en plus sur l’IA. Ces algorithmes ne devraient-ils pas être soumis à une autorisation de mise sur le marché ? Ne devrait-on pas gérer les effets secondaires des algorithmes comme on gère les effets secondaires des médicaments ?  » , interroge Nozha Boujemaa, qui a piloté le rapport Ethical Guidelines for Trustworthy AI

C’est une question de transparence et d’explicabilité, pour comprendre pourquoi tel algorithme aboutit à tel résultat. « Une IA va chercher à atteindre un objectif. Donc toute la question, c’est de savoir comment on va atteindre cet objectif » , note encore Stéphanie Jandard. Bref, s’attacher à la finalité en priorité. « Pour le consommateur, on n’a pas besoin d’entrer dans les détails du deep learning, on n’a pas besoin de connaître les paramètres et les hyperparamètres d’un réseau de neurones, tempère d’ailleurs Nozha Boujemaa. Ce qui nous importe, c’est de savoir si cette boîte noire se comporte correctement ou pas. Savoir pourquoi l’IA en face de nous nous a restitué ces informations permet de construire la confiance dans l’IA. »

Ce sujet ne concerne pas que les datascientists et les services IT. Bâtir une IA de confiance est aussi la responsabilité des entreprises, qui conçoivent ou se reposent de plus en plus sur ces outils dans leurs activités, et des Etats. C’est généralement là que les choses se compliquent.

Une gouvernance à plusieurs vitesses

Aujourd’hui, il n’y a pas de législation ni de régulation encadrant les algorithmes d’intelligence artificielle. On constate donc différentes approches, et différentes maturités sur le sujet. Si l’Europe fait figure de gardienne de la protection des données (merci le RGPD) et tend à développer une approche responsable de l’IA, nous sommes encore loin d’une législation européenne en la matière.

Les initiatives les plus abouties sont à regarder du côté des entreprises. Ainsi, « Accenture défend une intelligence artificielle responsable qui repose sur 3 piliers : la sécurité des données, la transparence et l’explicabilité et le contrôle » , avance son président, Olivier Girard. Il détaille : « Les entreprises doivent disposer de cadres de risques et de plans d'urgence en cas de problème sur les sujets d’IA. Il s’agit de déterminer clairement qui est responsable des décisions prises par les IA, et de définir l'approche de gestion qui permettra de faire remonter les problèmes si nécessaire. En gros, l’IA doit toujours rester sous le contrôle moral d’une autorité bien humaine. »

Éduquer pour favoriser le libre arbitre

Avec une conviction : la compréhension est le premier levier d’acceptabilité. « En tant qu’utilisateur, on accepte et adopte plus facilement ce que l’on comprend, poursuit Olivier Girard. In fine, c’est ce qui nous permet de garder notre libre arbitre : en étant conscients de son fonctionnement, nous sommes libres de choisir la recommandation d’une IA – ou pas !  »

Cette prise de conscience et cette compréhension sont les enjeux de demain. L’éducation joue donc un rôle central, selon Stéphanie Jandard, qui s’investit dans plusieurs programmes et hackatons pour attirer les jeunes filles vers les filières scientifiques. “L’enjeu est d’éduquer tout le monde à avoir conscience de l’IA, aussi bien auprès des jeunes générations qu’auprès des personnes déjà en entreprise, via des formations. Cela permettra non seulement de développer le libre arbitre des individus, mais aussi de constituer des équipes de développement plus inclusives, avec une meilleure représentation des femmes et des minorités. » Obéir ou désobéir, il s’agit avant tout d’être en capacité de choisir.

premium2
commentaires

Participer à la conversation

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.