En 2014, le gouvernement chinois a annoncé son projet de « système de crédit social » visant à mettre en place un système national pour noter ses citoyens. Le projet, qui est passé en phase de test sur des millions d'individus et est prévu pour être pleinement opérationnel au courant de cette année, consiste à attribuer une note à chaque citoyen, fondée sur les données dont dispose le gouvernement sur les Chinois. Le système repose sur un outil de surveillance de masse et utilise les technologies d'analyse Big Data. Il permet aussi de noter les entreprises opérant sur le marché chinois.
Le système sera utilisé pour récompenser ou punir les personnes et les organisations pour leur « fiabilité » à travers un éventail de mesures. Un élément clé du plan consiste non seulement à dresser une liste noire des personnes dont la cote de crédibilité sociale est faible, mais également à « divulguer publiquement les registres des entreprises et du manque de fiabilité des individus ». Pour atteindre cet objectif, le système tirera profit du plein potentiel de l’infrastructure technologique chinoise, soit quelque 200 millions de caméras croisées à des systèmes de reconnaissance faciale et à des dossiers financiers, médicaux et juridiques. Des réseaux d’intelligence artificielle avancée auront la lourde charge de réglementer et d’interpréter les données issues de ce croisement à grande échelle.
Le fonctionnement du système est assez simple. Comportez-vous bien, et vous serez récompensés. Comportez-vous mal, et vous serez punis. Par exemple, si un citoyen paie ses factures à temps, fait du bénévolat ou gère correctement son recyclage, il verra son score grimper et obtiendra des récompenses telles que des prix de transport public ou même des temps d’attente dans les hôpitaux revus à la baisse. En revanche, s’il enfreint les règles, il sera immédiatement puni
En septembre 2018, près de 10 millions de personnes se sont retrouvées punies dans les zones ou le système de notation sociale a déjà été testé.
Et s'il existait une version occidentale non officielle de ce système ?
Opérant dans l'ombre du marché en ligne, des entreprises de technologie spécialisées dont vous n'avez probablement jamais entendu parler exploitent de vastes trésors de données personnelles pour générer des « scores de surveillance » secrets qui sont censés prédire le comportement futur. Elles vendent leurs services de notation aux grandes entreprises de l'économie américaine.
Les personnes ayant de faibles scores peuvent souffrir de graves conséquences.
CoreLogic et TransUnion affirment que les scores qu'ils vendent aux propriétaires peuvent prédire si un locataire potentiel paiera le loyer à temps, sera en mesure « d'absorber les augmentations de loyer » ou va rompre un bail. Les grands employeurs utilisent HireVue, une entreprise qui génère un score « d'employabilité » sur les candidats en analysant « des dizaines de milliers de facteurs », y compris les expressions faciales et les intonations vocales d'une personne. D'autres employeurs utilisent le score de Cornerstone, qui tient compte des éléments comme le lieu de résidence d'un prospect d'emploi et du navigateur Web qu'il utilise pour juger de sa réussite dans un emploi.
Les détaillants de marque achètent des « scores de risque » de Retail Equation pour les aider à juger si les consommateurs commettent une fraude lorsqu'ils retournent des marchandises pour remboursement. Les acteurs de l'économie des petits boulots utilisent des entreprises extérieures telles que Sift pour évaluer la « fiabilité globale » des consommateurs. Les clients dont la rentabilité est estimée moins élevée sont parfois contraints de supporter des temps d'attente plus longs pour le service client.
Les assureurs automobiles augmentent les primes en fonction des scores calculés à l'aide des informations des applications pour smartphone qui suivent les styles de conduite. Les grandes sociétés d'analyse surveillent si nous sommes susceptibles de prendre nos médicaments en fonction de notre propension à renouveler nos ordonnances; les sociétés pharmaceutiques, les prestataires de soins de santé et les compagnies d'assurance peuvent utiliser ces scores pour, entre autres, « faire correspondre le bon niveau d'investissement patient aux bons patients ».
La notation de la surveillance est le produit de deux tendances. La première est la collection effrénée (et pour la plupart du temps non réglementée) de tous les détails intimes de nos vies, accumulés à la nanoseconde, des smartphones aux voitures, des grille-pain aux jouets. Cette lance d'incendie de données, dont la plupart sont cédées volontairement, comprend nos données démographiques, nos revenus, nos caractéristiques faciales, le son de notre voix, notre emplacement précis, l'historique des achats, les conditions médicales, les informations génétiques, ce que nous recherchons sur Internet, les sites Web que nous visitons, lorsque nous lisons un e-mail, quelles applications nous utilisons et combien de temps nous les utilisons, et à quelle fréquence nous dormons, faisons de l'exercice, etc.
La deuxième tendance à l'origine de ces scores est l'arrivée de technologies capables de traiter instantanément ces données : des ordinateurs exponentiellement plus puissants et des systèmes de communication à haut débit tels que la 5G, qui conduisent aux algorithmes de notation qui utilisent l'intelligence artificielle pour nous évaluer tous d'une manière ou d'une autre.
Le résultat : des décisions automatisées, basées sur le score unique de chaque consommateur, qui sont, en pratique, irréversibles.
C'est parce que tout le processus (les scores eux-mêmes, ainsi que les données sur lesquelles ils sont basés) n'est pas communiqué, il est pratiquement impossible de savoir quand on est devenu la victime d'un score, et encore moins si un score est inexact, dépassé ou le produit d'un code biaisé ou discriminatoire. De plus, il n'y a pas d'appel possible.
La notation de surveillance ressemble légèrement à la notation de crédit des années 1960. Dans cette ère préinformatique, des enquêteurs privés travaillant pour des banques, des détaillants et des compagnies d'assurance faisaient des recherches sur les consommateurs et parcouraient les journaux à la recherche d'informations sur les arrestations, l'orientation sexuelle, les habitudes de consommation d'alcool, la propreté et bien d'autres éléments pour décider de la solvabilité d'un consommateur (jusqu'à ce que le Congrès établisse des règles dans les années 1970 qui ont donné aux consommateurs le droit d'examiner et de remettre en question leurs cotes de crédit).
Aujourd'hui, cette activité permet d'obtenir infiniment plus d'informations sur les cibles et en temps réel. De plus, l'impact de la notation de surveillance est bien plus pernicieux.
Source : Washington Post
Et vous ?
Êtes-vous surpris du fait que les données peuvent être utilisées de la sorte ?
Est-il raisonnable qu'une entreprise s'appuie sur de telles données pour décider par exemple si elle donne accès à un service (prime d'assurance), un bien (appartement à louer) ou un emploi ? Dans quelle mesure ?
Que pensez-vous des notions comme score d'employabilité ? Ces critères vous semblent-ils objectifs ?
Les entreprises devraient-elles être tenues d'indiquer si elles s'appuient sur les données pour prendre (partiellement ou totalement) leurs décisions vis-à-vis d'individus ? Pourquoi ?
Vers un « système de crédit social » occidental non officiel ?
Voir aussi :
Big Data : la plateforme de développement pour l'analyse in-memory Apache Arrow 1.0.0 est disponible et s'accompagne de nombreuses améliorations
Au Canada, les Albertains se méfient de « Big Brother » avec l'utilisation de ABTraceTogether, l'application de suivi de contacts COVID-19, téléchargée par moins de 4 % de la population
Après la pandémie du covid-19, les entreprises de la Big Tech seront-elles inarrêtables ? Oui, selon Kara Swisher qui pense qu'elles deviendront très puissantes et « sans aucune responsabilité »
Big Brother à l'ère du coronavirus - plus de 100 groupes alertent contre une extension de la surveillance : « Nous vivons un temps extraordinaire, mais les droits de l'homme s'appliquent toujours »
Les données collectées de vos appareils connectés à internet comme votre smartphone peuvent servir à vous évaluer
Pour « prédire » votre comportement
Les données collectées de vos appareils connectés à internet comme votre smartphone peuvent servir à vous évaluer
Pour « prédire » votre comportement
Le , par Stéphane le calme
Une erreur dans cette actualité ? Signalez-nous-la !