Les haut-parleurs connectés collectent des entrées vocales qui peuvent être utilisées pour déduire des informations sensibles sur les utilisateurs, selon les résultats d'une étude. Les auteurs de cette étude ont développé un framework d'audit qui tire parti de la publicité en ligne pour mesurer la collecte de données, son utilisation et son partage par les plateformes de haut-parleurs connectés. Ils ont évalué leur framework sur l'écosystème d'enceintes connectées d'Amazon. Leurs résultats montrent qu'Amazon et des tiers (y compris des services de publicité et de suivi) collectent des données d'interaction avec des haut-parleurs connectés ; Amazon les a partagées avec pas moins de 41 partenaires publicitaires. Les chercheurs ont constaté qu'Amazon traite les données vocales pour déduire les intérêts des utilisateurs et les utilise pour diffuser des publicités ciblées sur la plateforme (appareils Echo) ainsi que hors plateforme (Web). L'interaction avec les haut-parleurs connectés entraîne des enchères publicitaires jusqu'à 30 fois plus élevées de la part des annonceurs. Enfin, les chercheurs ont constaté que les pratiques opérationnelles d'Amazon et de Skills sont souvent incompatibles avec leurs politiques de confidentialité.Selon des chercheurs de quatre universités américaines, Amazon et des services tiers utilisent des données d'interaction avec des haut-parleurs connectés pour le ciblage publicitaire, en violation des engagements de confidentialité.
Des universitaires de l'Université de Washington, de l'Université de Californie-Davis, de l'Université de Californie-Irvine et de l'Université Northeastern affirment « qu'Amazon traite les données vocales pour déduire les intérêts des utilisateurs et les utilise pour diffuser des publicités ciblées sur la plateforme (appareils Echo) ainsi qu'à l'extérieur de la plateforme (web) ».
Les chercheurs (Umar Iqbal, Pouneh Nikkhah Bahrami, Rahmadi Trimananda, Hao Cui, Alexander Gamero-Garrido, Daniel Dubois, David Choffnes, Athina Markopoulou, Franziska Roesner, Zubair Shafiq) décrivent leurs découvertes dans un article intitulé Your Echos are Heard : Tracking, Profiling, and Ad Targeting in the Amazon Smart Speaker Ecosystem (littéralement « Vos échos sont entendus : Suivi, profilage et ciblage publicitaire dans l'écosystème d'enceintes connectées d'Amazon »).
Les dix universitaires disent que l'interaction avec des haut-parleurs connectés (c'est-à-dire lorsque vous parlez à l'appareil) génère des enchères publicitaires d'annonceurs qui sont jusqu'à 30 fois plus élevées que les enchères ne le seraient sans les données des haut-parleurs Amazon Echo. De plus, disent-ils, la façon dont Amazon et les développeurs de Skills (les fabricants de logiciels intégrés au service d'assistant vocal Alexa d'Amazon) fonctionnent est souvent incompatible avec les politiques de confidentialité. Pour mémoire les skills (compétences) sont, en quelque sorte, l’équivalent des applications sur mobile. Les Skills ajoutent de nouvelles fonctionnalités à Alexa. Elles vous permettent de personnaliser l’utilisation de votre Amazon Echo ou de vos appareils qui intègrent Alexa
Cela ne vous surprendra peut-être pas ; dans tous les cas, le document fournit une plongée technique et une analyse approfondie de la manière dont Amazon, les appareils Echo, Alexa et les publicités sont tous liés.
Pour comprendre comment les développeurs d'Amazon et de Skills gèrent les données audio, les chercheurs ont développé un framework d'audit afin d'évaluer la manière dont les données vocales sont collectées, utilisées et partagées. Ils l'ont fait parce que les haut-parleurs connectés Amazon Echo ne fournissent pas d'interface pour évaluer la façon dont les données sont utilisées et qu'il n'y a pas de mécanisme prêt à l'emploi pour comprendre ce qui arrive aux données des haut-parleurs connectés envoyées sur Internet.
Les chercheurs ont donc créé plusieurs personnes factices avec différents profils d'utilisation de haut-parleurs connectés, puis ont simulé des interactions pour tester les différences statistiques dans les montants d'enchères pour les publicités audio et Web. De cette façon, ils affirment avoir été en mesure de déduire l'effet des interactions avec le haut-parleur connecté impliquant ces personnes factices.
Techniquement, le framework d'audit impliquait la configuration d'un routeur Raspberry Pi personnalisé pour enregistrer les points de terminaison du réseau contactés par Amazon Echo et l'émulation d'un Amazon Echo en configurant le SDK Alexa Voice Service, afin de capturer le trafic réseau non chiffré.
Cette configuration matérielle et logicielle a été utilisée pour émettre des commandes vocales vers un Amazon Echo afin de voir comment les données étaient utilisées pour les publicités audio (via Amazon Music, Spotify et Pandora), sur le Web pour les publicités display (personnes factices utilisant un navigateur connecté dans le compte Amazon et l'application compagnon Web Alexa), et sur les appareils non-Echo.
Les personnes factices ont été configurées pour installer et interagir avec des Skills associées à leurs intérêts respectifs. Ceux-ci comprenaient*: la voiture connectée, les rencontres, la mode et le style, les animaux de compagnie et les animaux, la religion et la spiritualité, la maison connectée, le vin et les boissons, la santé et la forme physique, ainsi que la navigation et les planificateurs de voyage.
Les chercheurs affirment que les données d'interaction Echo sont collectées à la fois par Amazon et par des tiers et qu'Amazon partage les données des utilisateurs avec pas moins de 41 partenaires publicitaires. Ils disent que le ciblage publicitaire activé par les données conduit à des enchères publicitaires jusqu'à 30 fois plus élevées, et que la déduction par Amazon des intérêts publicitaires à partir des données vocales est une violation claire de la politique de confidentialité et des déclarations publiques de l'entreprise.
En outre, plus de 70 % des Skills ne mentionnent pas Alexa ou Amazon, et seulement 2,2 % clarifient leurs pratiques de collecte de données dans leurs politiques de confidentialité, affirment les chercheurs.
Un problème de transparence
« La déduction par Amazon des intérêts publicitaires à partir de la voix des utilisateurs est une violation claire de leurs politiques et déclarations publiques », déclarent les chercheurs dans leur article. « Amazon ne fournit pas de transparence dans l'utilisation des données et ne peut donc pas être fiable pour protéger la confidentialité des utilisateurs ».
Le document observe également qu'Amazon a obtenu un brevet en 2018 intitulé « Détermination basée sur la voix des caractéristiques physiques et émotionnelles des utilisateurs » qui décrit comment « l'état physique et/ou émotionnel actuel de l'utilisateur peut faciliter la capacité à fournir un son hautement ciblé contenu, tel que les promotions de publicités audio, à l'utilisateur ».
Voici ce qui est écrit en guise de résumé du brevet : « L'invention concerne des systèmes, des procédés et des supports lisibles par ordinateur pour la détermination vocale de caractéristiques physiques et émotionnelles d'utilisateurs. Des exemples de procédés peuvent comprendre la détermination de premières données vocales, les premières données vocales étant générées par un utilisateur, la détermination d'un premier statut d'utilisateur en temps réel de l'utilisateur à l'aide des premières données vocales, la génération d'une première étiquette de données indicative du statut en temps réel de l'utilisateur, la...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.