Microsoft développe un outil pour détecter automatiquement les biais dans les algorithmes d'IA
Une solution pour éviter les discriminations ?

Le , par Michael Guilloux, Chroniqueur Actualités
L'intelligence artificielle est de plus en plus présente dans notre quotidien et, dans certains pays, est déjà placée au cœur de certains métiers pour faciliter la prise de décision. Il y a en effet des décisions dans le monde réel qui peuvent changer le cours de la vie d'une personne (dans la santé, le système judiciaire, etc.) et dans lesquelles interviennent des algorithmes de machine learning. Mais qu'à quel point doit-on faire confiance à une IA ?

Cette question est assez pertinente dans la mesure où il existe des recherches qui ont montré l'existence de biais dans certains algorithmes de machine learning qui, dans certains cas, peuvent entraîner des discriminations à l'égard de certaines personnes. Les exemples concrets ne manquent pas.

En 2016 par exemple, il a été découvert que Compas, le logiciel de North Pointe (aux USA), qui utilise le machine learning pour prédire si un accusé commettra de futurs crimes, juge les Noirs plus sévèrement que les Blancs. À titre d'exemples, Propublica, le média qui relatait l'affaire a révélé que deux personnes arrêtées pour possession de drogue, l'une (un homme blanc) a été classée comme étant à faible risque (niveau 3/10), alors que l'autre (un homme noir) a été classée comme étant à risque élevé (niveau 10/10). Le premier a pourtant été coupable de la même infraction trois fois plus tard, contrairement à l'autre accusé qui n'a été coupable d'aucune infraction plus après sa libération.


C'était une situation similaire pour deux personnes arrêtées pour conduite en état d'ivresse (DUI). L'une d'entre elles (un homme blanc) avec déjà quatre infractions à son actif a été jugée moins risquée (1/10), alors que l'autre (une femme noire) avec une seule infraction à son actif a été jugée plus risquée (6/10).


Le biais est encore plus évident en comparant les scores de deux personnes arrêtées pour vol. L'une a été évaluée à haut risque (8/10) de commettre un futur crime après qu'elle et un ami ont volé un vélo et un scooter qui étaient stationnés dehors. Elle n'a pourtant pas récidivé, alors qu'un autre arrêté pour vol a été classé à faible risque (3/10), bien qu'il ait à son actif deux vols à main armée et une tentative de vol à main armée. Et il a commis un autre grand vol après sa libération.


Ce n'est pas le seul exemple de biais dans les algorithmes de machine learning. Des recherches de Boston University et de Microsoft ont aussi montré que les jeux de données utilisés pour entrainer les programmes d'intelligence artificielle contiennent des connexions sémantiques sexistes, en considérant par exemple le mot « programmeur » plus proche du mot « homme » que du mot « femme ». Et une autre étude menée par le Media Lab du MIT montre que les algorithmes de reconnaissance faciale ont jusqu'à 12 % plus de risques d'identifier à tort les mâles à la peau foncée que les mâles à la peau claire. De toute évidence, il peut y avoir un biais dans un algorithme de machine learning résultant tout simplement des données sur lesquelles il a été construit. Et dans certains cas, les conséquences de ce biais peuvent être très graves.

Aujourd'hui, les grandes entreprises de haute technologie - y compris Microsoft, Google et Amazon - se battent pour vendre des technologies de machine learning disponibles dans le cloud. Comme de plus en plus de clients utilisent ces algorithmes pour automatiser des décisions importantes, il existe un risque que les biais soient automatisés, déployés à grande échelle et plus difficiles à repérer pour les victimes. La question du biais dans les algorithmes deviendra donc cruciale, ce qui pousse de nombreux chercheurs et experts en technologie à s'y pencher maintenant. Fournir des moyens d'automatiser la détection de biais algorithmiques pourrait donc devenir un élément clé de boîtes à outils d'IA.

Microsoft fait partie des entreprises qui travaillent pour trouver une solution à ce problème. En effet, le géant du logiciel est en train de créer un outil permettant d'identifier automatiquement les biais dans différents algorithmes pour permettre aux entreprises d'utiliser l'IA sans discriminer par inadvertance certaines personnes.

« Des choses comme la transparence, l'intelligibilité et l'explication sont si récentes dans le domaine que peu d'entre nous ont suffisamment d'expérience pour savoir tout ce que nous devrions rechercher et toutes les façons dont ces biais pourraient se cacher dans nos modèles », explique Rich Caruna, un chercheur de Microsoft travaillant sur ce projet.

Caruna estime que le produit de détection de biais de Microsoft aidera les chercheurs en IA à identifier plus de cas d'injustice, mais pas tous. « Bien sûr, nous ne pouvons pas nous attendre à la perfection - il y aura toujours un biais non détecté ou qui ne peut être éliminé - le but est de faire aussi bien que possible », dit-il. « La chose la plus importante que les entreprises peuvent faire en ce moment est d'éduquer leurs employés afin qu'ils soient conscients de la myriade de biais qu'il peut y avoir et créer des outils pour faciliter la compréhension des modèles et les détecter », a-t-il ajouté, en faisant probablement allusion aux autres géants de la technologie dans la course à l'intelligence artificielle.

À propos, précisons que Facebook a annoncé son propre outil de détection des biais lors de sa conférence annuelle des développeurs le 2 mai. Son outil, baptisé Fairness Flow, peut mesurer les biais potentiels en faveur ou au détriment de certains groupes de personnes. Il avertit automatiquement si un algorithme porte un jugement injuste sur quelqu'un en fonction de sa race, son sexe ou son âge. Comme Microsoft, Facebook estime qu'il faut plus d'équité étant donné que de plus en plus de gens utilisent l'IA pour prendre des décisions importantes.

Certains observateurs ne sont toutefois pas satisfaits des outils annoncés par Microsoft et Facebook. C'est le cas par exemple de Bin Yu, professeur à l'UC Berkeley. Si elle affirme que les outils de Facebook et Microsoft semblent être un pas dans la bonne direction, elle estime qu'ils ne sont peut-être pas suffisants. Elle pense plutôt que les grandes entreprises devraient faire vérifier leurs algorithmes par des experts externes afin de prouver qu'ils ne sont pas biaisés. « Quelqu'un d'autre doit enquêter sur les algorithmes de Facebook, ils ne peuvent pas être un secret pour tout le monde », a-t-elle dit.

Sources : MIT Technology Review, Propublica (2016), Recherche de Boston University (2016), MIT Media Lab

Et vous ?

Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?
Qu'en est-il de la solution de Microsoft ? Un pas dans la bonne direction ?
Faut-il plutôt inspecter les algorithmes d'IA des grandes entreprises comme le suggère Bin Yu ?
Doit-on limiter les domaines d’utilisation de l’IA ? Si oui, dans quels domaines préférez-vous que l’IA ne soit pas utilisée actuellement ?

Voir aussi :

USA : des associations s'érigent contre la technologie de reconnaissance faciale d'Amazon, craignant une surveillance de masse par la police
Intelligence artificielle: une vingtaine d'experts plaident pour la création d'un laboratoire européen en IA, afin de concurrencer les USA et la Chine
USA : le sous-secrétaire à la défense soulève l'importance d'associer l'intelligence artificielle à l'armée évoquant une future course aux armes
L'EFF appelle à ne pas utiliser l'intelligence artificielle pour la guerre s'adressant à Google et aux entreprises de l'IA
Les chercheurs en intelligence artificielle peuvent-ils gagner jusqu'à 1 million $ par an dans la Silicon Valley ? Un aperçu des salaires


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de Elros Elros - Membre éclairé https://www.developpez.com
le 28/05/2018 à 17:27
On dirait un remake de Minority Report !
Avatar de Matthieu76 Matthieu76 - Membre confirmé https://www.developpez.com
le 28/05/2018 à 17:42
Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.
Avatar de MikeRowSoft MikeRowSoft - I.A. en bêta-test https://www.developpez.com
le 28/05/2018 à 17:44
Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?
Il y a peut-être comme sources des données (statistique ou fait mesuré) venant d'il y a plusieurs années (les archives des C.O.P.S.). Et qui aujourd'hui ne sont plus d'actualités.
Je considère le biais ici cité comme étant une prédiction ou le moyen de donner un premier avis mais pas forcément fiable.

Cela réagi comme mesurer une tendance (groupe), mais pas comme vraiment prédire le comportement précis, (d'un individu) encore faut-il qu'il ne sache pas mentir à la "PNL" (comportement social).
Avatar de ShigruM ShigruM - Membre régulier https://www.developpez.com
le 28/05/2018 à 18:32
j'ai eu un probleme de ce genre une fois
alors on essayé d'avoir une IA qui donnait des résultats parfais en moyennant les résultats, en prenant des valeurs median...etc.
Finalement il en est ressortit que l'ia donnait des résultats faux

la morale de cette histoire, c'est qu'on a accepter ces risques et on a laissé l'ia faire, ce qui nous a permis d'obtenir des résultats très satisfaisants.

Il faut arrêter de chercher a aseptisé les résultats, le but d'une ia c'est justement de faire l'inverse, de trouver ce dont on ne soupçonne pas. Si on influence ces résultats parce que ceci ou cela, autant de ne pas faire d'ia.
Avatar de onilink_ onilink_ - Membre confirmé https://www.developpez.com
le 28/05/2018 à 19:10
@ShigruM
Ce n'est pas le problème ici. L'IA c'est pas juste une boite noire a qui on file des données sans se poser de question pour avoir un résultat probant a la fin.
Certains ont l'impression que ça marche comme ça, car on peut avoir des résultats pas trop pourris sans rien y connaître, mais ce n'est pas aussi simple.
Tout d'abord il faut avoir de "bonnes" données, et rien que la que ça devient compliqué, surtout dans des domaines assez subjectifs comme ici.

Surtout que pour avoir une IA performante dans un domaine, il faut au moins 100x plus de données que de dimensions traitées (a part dans certains cas précis, selon l'archi du réseau, comme pour le traitement d'image).
Alors je ne sais pas trop combien de dimensions utilisent ces IA de prévention, mais une chose est sure, ça doit se compter en centaines si ce n'est pas plus.
Il faut donc des dizaines de millier de dossiers, mais en plus de ça, il faut que les données soient assez récentes pour représenter correctement la tendance actuelle.
Il faut aussi assez de données pour faire une validation croisée (donc ~10% des données collectées ne seront pas utilisées pour l'apprentissage, mais pour vérifier que l'algorithme fait bien son boulot).

Je me souviens que pour le soucis homme blancs/noir, cela venait surtout du fait qu'il y avait beaucoup plus de données d'homme blancs que d'homme noirs, et l'IA était donc beaucoup moins précise dans le second cas.

C'est comme essayer d'apprendre a un algorithme de lire des chiffres et des lettres, mais lui donner 1000x plus d'images de chiffres.
A la fin le résultat sera biaisé, et ce n'est pas forcement la faute de l'algorithme, mais des données d'apprentissage.

Tout ça pour dire que quand il s'agit d'IA, c'est toujours bien plus compliqué qu'il n'y parait.
Avatar de MikeRowSoft MikeRowSoft - I.A. en bêta-test https://www.developpez.com
le 28/05/2018 à 19:21
Citation Envoyé par onilink_ Voir le message
Il faut donc des dizaines de millier de dossiers, mais en plus de ça, il faut que les données soient assez récentes pour représenter correctement la tendance actuelle.
Pari sportif, allons y (gain exonéré d'impôt).

Courses de chevaux ou mondiale de foot 2018 ?

C'est de la prémonition façon poulet ou poulpe (hasard qui fait bien les choses / , la chance de trouver " l'élément " qui permet de pas se tromper ?)...
Avatar de cryptonym cryptonym - Membre à l'essai https://www.developpez.com
le 29/05/2018 à 9:41
Citation Envoyé par Matthieu76 Voir le message
Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.
L'IA essaye de trouver des corrélations entre les données et génère un modèle dans lequel ces corrélations deviennent des implications. Donc oui, l'IA apprend ce qu'elle voit, le problème c'est qu'elle le fait très très "bêtement". Ce raisonnement simpliste est la source de ces biais.

A nous de l'entrainer avec les bonnes données et les bons réglages, le but de ces outils c'est de détecter des situations où les critères ne sont pas pertinents et faussent les prédictions. L'article parle de discriminations raciales et sexistes mais ça pourrait être autre chose, par exemple, des biais peuvent se retrouver dans des IA chargées de repérer des tumeurs cancéreuses. Mais c'est certain que c'est plus vendeur de faire un article avec du sexisme et de la discrimination raciale

C'est un tâche très complexe d'analyser le modèle généré et c'est une bonne chose de développer plus d'outils pour l'observer et détecter des situations problématiques.
Avatar de Neckara Neckara - Expert éminent sénior https://www.developpez.com
le 29/05/2018 à 9:45
Sauf que...

La classification est probabiliste, ce n'est pas parce qu'une personne classée à haut risque ne récidive pas, et qu'une personnes classée à bas risque récidive, que cela invalide le modèle. De plus, ces classifications ont, je présumes, des conséquences. Dès lors, il est difficile de savoir, e.g. si la personne classée à haut risque n'a pas récidivé, du fait de sa classification à haut risque et de ce qu'elle implique. Sachant qu'aucune indication de la performance du système ne nous est donnée.

Ces classifications s'appuient sur des corrélations (pas des causalités, nous sommes bien d'accord). Que cela vous paraisse choquant, ou contre-intuitif ne change rien à la réalité des corrélations existantes. Un programmeur est le plus souvent un homme, est-ce si étonnant qu'une IA fasse le rapprochement, qui est statistiquement "vrai" ? De même, la couleur de peau est corrélée à un niveau de richesse, lui-même corrélé à un niveau de criminalité. Les probabilités déduites, à partir des informations reçues par l'IA sont donc statistiquement "vraies".

Certes, ce ne sont pas les informations les plus pertinentes, et il faudrait plus s'appuyer sur des causalités que sur des corrélations. Mais de là de parler d'un "biais", alors même que les probabilités, en connaissance des informations données, sont statistiquement "vraie", c'est abusif. Certes, ce sont aussi des généralisation... mais c'est un peu le principe même des probabilités... Si 90% des X sont des Y, si je prends aléatoirement un X, sans autre informations, je pourrais en déduire que j'ai 90% que ce X soit un Y. Ce qui ne veut pas dire que tous les X sont des Y.

L'IA va aussi se "tromper", tout simplement car ce sont des approches probabilistes, et que les approches déterministes n'existent pas, et n'existeront jamais. On va donc devoir faire avec des faux-positifs, et des faux-négatifs, mais c'est le principe même de ce genre d'approches. Ou comment s'indigner sur rien.

Le vrai problème de l'IA est que ses résultats ne nous plaisent pas c'est tout, pas qu'ils soient "bon" ou "mauvais".
Avatar de MikeRowSoft MikeRowSoft - I.A. en bêta-test https://www.developpez.com
le 29/05/2018 à 11:56
C'est quand même utilisé pour "profiler" un individu dans ce cas.
De la psychologie, déduction/intention et plus encore...
Les séries TV sont peut-être loin de la réalité...
Sauf sur le coté temps réel et anticipation. (chance que cela se vérifie dans le cœur de l'action)

Les facteurs d'erreurs sont multiples en plus... Faire des sous divisions de catégories est déjà mettre en évidence qu'il a été comparé des choses qui n'ont aucun facteur de comparaison compatible...

Qui se douterait que les riches commettent des crimes ?
Qui se douterait qu'un porteur d'arme avec licence d'autorisation est probablement dangereux ?
Avatar de sergio_is_back sergio_is_back - Membre éprouvé https://www.developpez.com
le 29/05/2018 à 19:39
Ce qui me gêne le plus c'est la confiance un peu aveugle que certains placent dans l'IA... Ils devraient se souvenir que ce n'est qu'un outil (parmi d'autres) qui permet de dégager une tendance, de se donner des axes de réflexion, mais pas une vérité surtout quand il s'agit du comportement humain (soumis à un contexte de surcroit) et de l'avenir (dont on sait par la prédiction qu'il est particulièrement difficile à prévoir)... A se demander si de l'intelligence ils en ont....

Quand à utiliser une IA pour chercher des biais dans une autre IA ? N'aura t-elle aucun biais elle-même ?
A quand une IA qui cherche des biais dans l'IA qui cherche les biais ?
Contacter le responsable de la rubrique Accueil