Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Microsoft développe un outil pour détecter automatiquement les biais dans les algorithmes d'IA
Une solution pour éviter les discriminations ?

Le , par Michael Guilloux

127PARTAGES

4  1 
L'intelligence artificielle est de plus en plus présente dans notre quotidien et, dans certains pays, est déjà placée au cœur de certains métiers pour faciliter la prise de décision. Il y a en effet des décisions dans le monde réel qui peuvent changer le cours de la vie d'une personne (dans la santé, le système judiciaire, etc.) et dans lesquelles interviennent des algorithmes de machine learning. Mais qu'à quel point doit-on faire confiance à une IA ?

Cette question est assez pertinente dans la mesure où il existe des recherches qui ont montré l'existence de biais dans certains algorithmes de machine learning qui, dans certains cas, peuvent entraîner des discriminations à l'égard de certaines personnes. Les exemples concrets ne manquent pas.

En 2016 par exemple, il a été découvert que Compas, le logiciel de North Pointe (aux USA), qui utilise le machine learning pour prédire si un accusé commettra de futurs crimes, juge les Noirs plus sévèrement que les Blancs. À titre d'exemples, Propublica, le média qui relatait l'affaire a révélé que deux personnes arrêtées pour possession de drogue, l'une (un homme blanc) a été classée comme étant à faible risque (niveau 3/10), alors que l'autre (un homme noir) a été classée comme étant à risque élevé (niveau 10/10). Le premier a pourtant été coupable de la même infraction trois fois plus tard, contrairement à l'autre accusé qui n'a été coupable d'aucune infraction plus après sa libération.


C'était une situation similaire pour deux personnes arrêtées pour conduite en état d'ivresse (DUI). L'une d'entre elles (un homme blanc) avec déjà quatre infractions à son actif a été jugée moins risquée (1/10), alors que l'autre (une femme noire) avec une seule infraction à son actif a été jugée plus risquée (6/10).


Le biais est encore plus évident en comparant les scores de deux personnes arrêtées pour vol. L'une a été évaluée à haut risque (8/10) de commettre un futur crime après qu'elle et un ami ont volé un vélo et un scooter qui étaient stationnés dehors. Elle n'a pourtant pas récidivé, alors qu'un autre arrêté pour vol a été classé à faible risque (3/10), bien qu'il ait à son actif deux vols à main armée et une tentative de vol à main armée. Et il a commis un autre grand vol après sa libération.


Ce n'est pas le seul exemple de biais dans les algorithmes de machine learning. Des recherches de Boston University et de Microsoft ont aussi montré que les jeux de données utilisés pour entrainer les programmes d'intelligence artificielle contiennent des connexions sémantiques sexistes, en considérant par exemple le mot « programmeur » plus proche du mot « homme » que du mot « femme ». Et une autre étude menée par le Media Lab du MIT montre que les algorithmes de reconnaissance faciale ont jusqu'à 12 % plus de risques d'identifier à tort les mâles à la peau foncée que les mâles à la peau claire. De toute évidence, il peut y avoir un biais dans un algorithme de machine learning résultant tout simplement des données sur lesquelles il a été construit. Et dans certains cas, les conséquences de ce biais peuvent être très graves.

Aujourd'hui, les grandes entreprises de haute technologie - y compris Microsoft, Google et Amazon - se battent pour vendre des technologies de machine learning disponibles dans le cloud. Comme de plus en plus de clients utilisent ces algorithmes pour automatiser des décisions importantes, il existe un risque que les biais soient automatisés, déployés à grande échelle et plus difficiles à repérer pour les victimes. La question du biais dans les algorithmes deviendra donc cruciale, ce qui pousse de nombreux chercheurs et experts en technologie à s'y pencher maintenant. Fournir des moyens d'automatiser la détection de biais algorithmiques pourrait donc devenir un élément clé de boîtes à outils d'IA.

Microsoft fait partie des entreprises qui travaillent pour trouver une solution à ce problème. En effet, le géant du logiciel est en train de créer un outil permettant d'identifier automatiquement les biais dans différents algorithmes pour permettre aux entreprises d'utiliser l'IA sans discriminer par inadvertance certaines personnes.

« Des choses comme la transparence, l'intelligibilité et l'explication sont si récentes dans le domaine que peu d'entre nous ont suffisamment d'expérience pour savoir tout ce que nous devrions rechercher et toutes les façons dont ces biais pourraient se cacher dans nos modèles », explique Rich Caruna, un chercheur de Microsoft travaillant sur ce projet.

Caruna estime que le produit de détection de biais de Microsoft aidera les chercheurs en IA à identifier plus de cas d'injustice, mais pas tous. « Bien sûr, nous ne pouvons pas nous attendre à la perfection - il y aura toujours un biais non détecté ou qui ne peut être éliminé - le but est de faire aussi bien que possible », dit-il. « La chose la plus importante que les entreprises peuvent faire en ce moment est d'éduquer leurs employés afin qu'ils soient conscients de la myriade de biais qu'il peut y avoir et créer des outils pour faciliter la compréhension des modèles et les détecter », a-t-il ajouté, en faisant probablement allusion aux autres géants de la technologie dans la course à l'intelligence artificielle.

À propos, précisons que Facebook a annoncé son propre outil de détection des biais lors de sa conférence annuelle des développeurs le 2 mai. Son outil, baptisé Fairness Flow, peut mesurer les biais potentiels en faveur ou au détriment de certains groupes de personnes. Il avertit automatiquement si un algorithme porte un jugement injuste sur quelqu'un en fonction de sa race, son sexe ou son âge. Comme Microsoft, Facebook estime qu'il faut plus d'équité étant donné que de plus en plus de gens utilisent l'IA pour prendre des décisions importantes.

Certains observateurs ne sont toutefois pas satisfaits des outils annoncés par Microsoft et Facebook. C'est le cas par exemple de Bin Yu, professeur à l'UC Berkeley. Si elle affirme que les outils de Facebook et Microsoft semblent être un pas dans la bonne direction, elle estime qu'ils ne sont peut-être pas suffisants. Elle pense plutôt que les grandes entreprises devraient faire vérifier leurs algorithmes par des experts externes afin de prouver qu'ils ne sont pas biaisés. « Quelqu'un d'autre doit enquêter sur les algorithmes de Facebook, ils ne peuvent pas être un secret pour tout le monde », a-t-elle dit.

Sources : MIT Technology Review, Propublica (2016), Recherche de Boston University (2016), MIT Media Lab

Et vous ?

Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?
Qu'en est-il de la solution de Microsoft ? Un pas dans la bonne direction ?
Faut-il plutôt inspecter les algorithmes d'IA des grandes entreprises comme le suggère Bin Yu ?
Doit-on limiter les domaines d’utilisation de l’IA ? Si oui, dans quels domaines préférez-vous que l’IA ne soit pas utilisée actuellement ?

Voir aussi :

USA : des associations s'érigent contre la technologie de reconnaissance faciale d'Amazon, craignant une surveillance de masse par la police
Intelligence artificielle: une vingtaine d'experts plaident pour la création d'un laboratoire européen en IA, afin de concurrencer les USA et la Chine
USA : le sous-secrétaire à la défense soulève l'importance d'associer l'intelligence artificielle à l'armée évoquant une future course aux armes
L'EFF appelle à ne pas utiliser l'intelligence artificielle pour la guerre s'adressant à Google et aux entreprises de l'IA
Les chercheurs en intelligence artificielle peuvent-ils gagner jusqu'à 1 million $ par an dans la Silicon Valley ? Un aperçu des salaires

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de cryptonym
Membre à l'essai https://www.developpez.com
Le 29/05/2018 à 9:41
Citation Envoyé par Matthieu76 Voir le message
Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.
L'IA essaye de trouver des corrélations entre les données et génère un modèle dans lequel ces corrélations deviennent des implications. Donc oui, l'IA apprend ce qu'elle voit, le problème c'est qu'elle le fait très très "bêtement". Ce raisonnement simpliste est la source de ces biais.

A nous de l'entrainer avec les bonnes données et les bons réglages, le but de ces outils c'est de détecter des situations où les critères ne sont pas pertinents et faussent les prédictions. L'article parle de discriminations raciales et sexistes mais ça pourrait être autre chose, par exemple, des biais peuvent se retrouver dans des IA chargées de repérer des tumeurs cancéreuses. Mais c'est certain que c'est plus vendeur de faire un article avec du sexisme et de la discrimination raciale

C'est un tâche très complexe d'analyser le modèle généré et c'est une bonne chose de développer plus d'outils pour l'observer et détecter des situations problématiques.
3  0 
Avatar de Neckara
Expert éminent sénior https://www.developpez.com
Le 29/05/2018 à 9:45
Sauf que...

La classification est probabiliste, ce n'est pas parce qu'une personne classée à haut risque ne récidive pas, et qu'une personnes classée à bas risque récidive, que cela invalide le modèle. De plus, ces classifications ont, je présumes, des conséquences. Dès lors, il est difficile de savoir, e.g. si la personne classée à haut risque n'a pas récidivé, du fait de sa classification à haut risque et de ce qu'elle implique. Sachant qu'aucune indication de la performance du système ne nous est donnée.

Ces classifications s'appuient sur des corrélations (pas des causalités, nous sommes bien d'accord). Que cela vous paraisse choquant, ou contre-intuitif ne change rien à la réalité des corrélations existantes. Un programmeur est le plus souvent un homme, est-ce si étonnant qu'une IA fasse le rapprochement, qui est statistiquement "vrai" ? De même, la couleur de peau est corrélée à un niveau de richesse, lui-même corrélé à un niveau de criminalité. Les probabilités déduites, à partir des informations reçues par l'IA sont donc statistiquement "vraies".

Certes, ce ne sont pas les informations les plus pertinentes, et il faudrait plus s'appuyer sur des causalités que sur des corrélations. Mais de là de parler d'un "biais", alors même que les probabilités, en connaissance des informations données, sont statistiquement "vraie", c'est abusif. Certes, ce sont aussi des généralisation... mais c'est un peu le principe même des probabilités... Si 90% des X sont des Y, si je prends aléatoirement un X, sans autre informations, je pourrais en déduire que j'ai 90% que ce X soit un Y. Ce qui ne veut pas dire que tous les X sont des Y.

L'IA va aussi se "tromper", tout simplement car ce sont des approches probabilistes, et que les approches déterministes n'existent pas, et n'existeront jamais. On va donc devoir faire avec des faux-positifs, et des faux-négatifs, mais c'est le principe même de ce genre d'approches. Ou comment s'indigner sur rien.

Le vrai problème de l'IA est que ses résultats ne nous plaisent pas c'est tout, pas qu'ils soient "bon" ou "mauvais".
3  0 
Avatar de Matthieu76
Membre éclairé https://www.developpez.com
Le 28/05/2018 à 17:42
Moi je ne pense pas que l'IA soit biaisée, c'est la société qui est biaisée. L'IA ne fait qu'apprendre sur ce qu'elle voit.
2  0 
Avatar de ShigruM
Nouveau Candidat au Club https://www.developpez.com
Le 28/05/2018 à 18:32
j'ai eu un probleme de ce genre une fois
alors on essayé d'avoir une IA qui donnait des résultats parfais en moyennant les résultats, en prenant des valeurs median...etc.
Finalement il en est ressortit que l'ia donnait des résultats faux

la morale de cette histoire, c'est qu'on a accepter ces risques et on a laissé l'ia faire, ce qui nous a permis d'obtenir des résultats très satisfaisants.

Il faut arrêter de chercher a aseptisé les résultats, le but d'une ia c'est justement de faire l'inverse, de trouver ce dont on ne soupçonne pas. Si on influence ces résultats parce que ceci ou cela, autant de ne pas faire d'ia.
2  0 
Avatar de sergio_is_back
Membre émérite https://www.developpez.com
Le 29/05/2018 à 19:39
Ce qui me gêne le plus c'est la confiance un peu aveugle que certains placent dans l'IA... Ils devraient se souvenir que ce n'est qu'un outil (parmi d'autres) qui permet de dégager une tendance, de se donner des axes de réflexion, mais pas une vérité surtout quand il s'agit du comportement humain (soumis à un contexte de surcroit) et de l'avenir (dont on sait par la prédiction qu'il est particulièrement difficile à prévoir)... A se demander si de l'intelligence ils en ont....

Quand à utiliser une IA pour chercher des biais dans une autre IA ? N'aura t-elle aucun biais elle-même ?
A quand une IA qui cherche des biais dans l'IA qui cherche les biais ?
2  0 
Avatar de sergio_is_back
Membre émérite https://www.developpez.com
Le 29/05/2018 à 20:29
Citation Envoyé par Neckara Voir le message
C'est très simple, en France il est illégal de produire des décisions à valeur juridique exclusivement via une IA.

Il faut que la décision finale soit prise par un humain.
Oui aujourd'hui mais..... jusqu’à quand ?

Même si l'IA fait des progrès dans les années futures, rien ne dit qu'elle sera moins biaisée qu'aujourd'hui....
Ce qui est inquiétant c'est la facilité avec certains se déchargent volontairement de leur propre réflexion dessus...

C'est là le dilemme :

- Soit l'IA devient un outil utile et fait progresser la communauté
- Soit l'IA devient une plaie et fini par ne servir principalement qu'à la publicité ciblée, au placement de produit, etc... comme le big data actuellement (et au passage à deux trois truc moins avouables dans des pays pas trop démocratiques)

Vu mon expérience, malheureusement je penche un peu vers la deuxième option !
1  0 
Avatar de Elros
Membre éprouvé https://www.developpez.com
Le 28/05/2018 à 17:27
On dirait un remake de Minority Report !
0  0 
Avatar de
https://www.developpez.com
Le 28/05/2018 à 17:44

Que pensez-vous des biais dans les algorithmes d'intelligence artificielle ?
Il y a peut-être comme sources des données (statistique ou fait mesuré) venant d'il y a plusieurs années (les archives des C.O.P.S.). Et qui aujourd'hui ne sont plus d'actualités.
Je considère le biais ici cité comme étant une prédiction ou le moyen de donner un premier avis mais pas forcément fiable.

Cela réagi comme mesurer une tendance (groupe), mais pas comme vraiment prédire le comportement précis, (d'un individu) encore faut-il qu'il ne sache pas mentir à la "PNL" (comportement social).
0  0 
Avatar de Neckara
Expert éminent sénior https://www.developpez.com
Le 29/05/2018 à 19:47
C'est très simple, en France il est illégal de produire des décisions à valeur juridique exclusivement via une IA.

Il faut que la décision finale soit prise par un humain.
0  0 
Avatar de ShigruM
Nouveau Candidat au Club https://www.developpez.com
Le 29/05/2018 à 20:49
Citation Envoyé par sergio_is_back Voir le message

Quand à utiliser une IA pour chercher des biais dans une autre IA ? N'aura t-elle aucun biais elle-même ?
A quand une IA qui cherche des biais dans l'IA qui cherche les biais ?
Quand à utiliser une police pour chercher des problèmes dans une autre police ? N'aura t-elle aucun probleme elle-même ?
A quand une police des polices des polices ?
0  0