IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Facebook empêche à ses employés de lire un rapport interne qui examine le rôle et les manquements du réseau social ayant conduit à l'émeute du Capitole.
Vous pouvez le lire ici

Le , par Nancy Rey

660PARTAGES

13  0 
Le mois dernier, Mark Zuckerberg, PDG de Facebook, déclarait devant une commission de la Chambre des représentants que son entreprise avait fait sa part « pour garantir l'intégrité de l'élection ». Bien que le réseau social n'ait pas tout capté, a déclaré le chef d'entreprise, Facebook avait « rendu ses services inhospitaliers pour ceux qui pourraient faire du mal » à l'approche de l'insurrection du 6 janvier. Moins d'une semaine après son intervention, cependant, un rapport interne de l'entreprise est arrivé à une conclusion bien différente : Facebook n'a pas réussi à empêcher un mouvement très influent d'utiliser sa plateforme pour délégitimer l'élection, encourager la violence et contribuer à inciter à l'émeute du Capitole. Après la révélation de ce document au grand public, de nombreux employés de Facebook ont été empêchés d'y accéder.


Intitulé "Stop the Steal and Patriot Party : The Growth and Mitigation of an Adversarial Harmful Movement", le rapport est l'une des plus importantes analyses de la façon dont l'effort insurrectionnel visant à renverser une élection présidentielle américaine libre et équitable s'est propagé sur le plus grand réseau social du monde – et comment Facebook a manqué des signes d'avertissement critiques. Le rapport examine comment l'entreprise a été prise au dépourvu lorsque le groupe Facebook Stop the Steal a donné un coup de fouet à un mouvement visant à saper la démocratie, et conclut que l'entreprise n'était pas préparée à empêcher les gens de diffuser la haine et l'incitation à la violence sur sa plateforme.

Les auteurs du rapport, qui faisaient partie d'un groupe de travail interne chargé d'étudier les réseaux nuisibles, ont publié le document sur la plateforme de communication des employés de Facebook le mois dernier, le mettant ainsi à la disposition de tous les employés de l'entreprise. Mais après que les médias ont révélé l'existence du rapport la semaine dernière, de nombreux employés ont été empêchés d'y accéder.

« Les auteurs n'ont jamais eu l'intention de publier ce document final à l'ensemble de l'entreprise. Ils l'ont publié par inadvertance à un large public et ils l'ont simplement limité au groupe de travail interne auquel il était destiné », a déclaré un porte-parole de Facebook dans un communiqué. Le porte-parole a ajouté que ce sont les auteurs qui ont restreint l'accès au rapport.

L'entreprise a défendu son travail de protection de l'élection de 2020. Le mois dernier, lors d'un témoignage devant la commission de l'énergie et du commerce de la Chambre des représentants, le PDG de Facebook, Mark Zuckerberg, a déclaré : « Nous nous engageons à assurer la sécurité des personnes sur nos services et à protéger la liberté d'expression, et nous travaillons dur pour définir et appliquer des politiques qui répondent à ces objectifs. Nous continuerons à investir des ressources extraordinaires dans la modération du contenu, l'application de la loi et la transparence ».

Aujourd’hui, Monika Bickert, vice-présidente de la politique de contenu de Facebook, doit témoigner lors d'une audience de la commission judiciaire du Sénat sur l'amplification algorithmique sur les plateformes technologiques aux côtés de dirigeants de YouTube et Twitter.

Voici le texte intégral du rapport interne de Facebook. Certains graphiques n'ont pas été reproduits en raison de leur nature technique.

Le parti "Stop the Steal and Patriot" : La croissance et l'atténuation d'un mouvement nuisible adverse.

(Le rapport Facebook comprenait une image de couverture, ici, représentant le Capitole des États-Unis en flammes et un dessin de corgi habillé en pompier).

  • Stop the Steal (StS) s'est développé rapidement après l'élection en tant que mouvement, mais notre application était fragmentaire.
  • Traiter StS comme un réseau nous a permis de comprendre la coordination du mouvement et la persistance du préjudice au niveau du réseau. Ce préjudice était plus que la somme de ses parties.
  • L'examen du réseau StS nous a permis d'observer la croissance du Patriot Party.
  • Nous avons beaucoup appris de ces cas. Nous sommes en train de créer des outils et des protocoles et d'avoir des discussions politiques pour nous aider à faire mieux la prochaine fois dans le cadre du groupe de travail sur la désagrégation des réseaux.


Introduction

Beaucoup d'entre nous se souviennent de la nuit des élections et des quelques jours qui ont suivi. La satisfaction d'avoir passé l'élection sans incident majeur a été tempérée par la montée du vitriol de la colère et une foule de théories du complot qui ont commencé à se développer de manière constante. À l'époque, les vétérans de 2016 se souvenaient du pic de peur, de colère et d'incertitude, ainsi que de la croissance de mégagroupes comme Pantsuit Nation. Nous nous sommes tous demandé si ce que nous voyions dans le sillage de l'élection était la même chose, ou quelque chose de plus infâme. À l'époque, il était très difficile de savoir si ce que nous voyions était un effort coordonné pour délégitimer l'élection ou s'il s'agissait d'une expression libre protégée par des utilisateurs effrayés et confus qui méritaient notre empathie. Mais avec le recul tout est bien plus évident, il est d'autant plus important de regarder en arrière pour apprendre ce que nous pouvons sur la croissance des mouvements de délégitimation des élections qui se sont développés, ont répandu la conspiration et ont contribué à inciter l'Insurrection du Capitole.

Le premier groupe "Stop the Steal" est apparu le soir des élections. Il a été signalé comme devant faire l'objet d'une action concertée, car les commentaires contenaient des niveaux élevés de haine, de violence et d'incitation à la violence (VNI). Le groupe a été désactivé et une enquête a été lancée, à la recherche de signes précoces de coordination et de préjudice dans les nouveaux groupes Stop the Steal qui ont rapidement vu le jour pour le remplacer. Avec nos premiers signaux, il n'était pas clair qu'une coordination avait lieu, ou qu'il y avait un préjudice suffisant pour justifier la désignation du terme. Ce n'est que plus tard qu'il est apparu clairement à quel point l'accroche serait un point focal et qu'elle servirait de point de ralliement autour duquel un mouvement de délégitimation violente des élections pourrait se coaliser.

La "délégitimation" (D14N) en tant que concept est un nouveau territoire, tant pour l'analyse que pour la politique. De nombreux chantiers D14N ont été lancés dans le sillage de la nuit des élections, mais peu de politiques ou de connaissances existaient sur la question. Nos recherches au cours de l'IOPC US2020 sont issues d'un travail rapide sur les classificateurs de sujets, les flux CIRD, les regex et le suivi des classificateurs dans HELLCAT, et l'analyse manuelle via la modélisation CORGI, et nous avons été en mesure de lancer des rétrogradations et une certaine application de la loi sur la question, mais il reste du travail à faire pour développer un cadre politique ferme autour de la question. Dans cette note, nous décrirons les préjudices que nous avons pu observer par la suite au sein du mouvement StS, la manière dont des mouvements subséquents comme le Patriot Party (PP) ont pu se développer dans son sillage, et comment nous pourrions utiliser ce que nous avons appris pour mieux saisir les préjudices coordonnés à l'avenir.

Les premiers indicateurs de préjudice

Dès les premiers groupes, nous avons constaté des niveaux élevés de haine, de VNI et de délégitimation, associés à des taux de croissance fulgurants – presque tous les groupes FB à la croissance la plus rapide étaient des groupes Stop the Steal au moment de leur pic de croissance. Parce que nous examinions chaque entité individuellement, plutôt que comme un mouvement cohésif, nous n'étions en mesure de supprimer des groupes et des pages individuels que lorsqu'ils dépassaient un seuil de violation. Nous n'étions pas en mesure d'agir sur des objets simples tels que les messages et les commentaires, car ils avaient tendance à ne pas être violés individuellement, même s'ils étaient entourés de haine, de violence et de désinformation. Après l'Insurrection du Capitole et la vague d'événements Storm the Capitol à travers le pays, nous avons réalisé que les groupes, pages et slogans délégitimants individuels constituaient un mouvement cohésif.

Certains de nos premiers indicateurs utilisent des signaux hors plateforme, et nous avons constaté que des groupes haineux organisés et connus participaient à l'organisation d'événements Storm the Capitol (StC) et qu'ils étaient impliqués dans la promotion de Stop the Steal. Nous avons également constaté qu'il y avait un chevauchement important de membres entre les groupes StS et Proud Boy (une organisation désignée DOI) et les groupes de miliciens.

Nous avons examiné le contenu des groupes et des pages, en comparant les taux de discours haineux, de vni et de références DOI dans les groupes StS, PP et StC à l'aide des tableaux HELLCAT, qui regroupent une myriade de signaux de contenu basés sur l'intégrité au niveau des entités complexes. Cela nous a permis de voir que les groupes StS avaient considérablement plus de haine, de vni et de références à la conspiration et aux milices que la moyenne des groupes civiques dans leur ensemble.

En plus de HELLCAT, nous avons construit des classificateurs à rotation rapide et des pipelines CIRD pour identifier les groupes à haut risque et d'autres entités complexes. Ces pipelines CIRD ont été connectés aux rétrogradations, ainsi qu'agrégés pour faire apparaître les entités complexes à haut risque. Les escalades d'informations erronées étaient également fréquentes, bien que le volume dépasse de loin la capacité de révision du 3PFC ou des escalades. Ensemble, ces approches nous ont permis de signaler les groupes et les événements individuels présentant des niveaux élevés de préjudice afin qu'ils soient examinés par HEROCO ou par la file d'attente des événements.


Ces approches basées sur le contenu nous ont permis d'observer comment le préjudice se manifestait dans le mouvement dans son ensemble, en montrant que les termes étaient imprégnés de haine et de VNI. Nous avons ainsi pu constater l'existence d'un problème, mais l'analyse du réseau nous a permis de comprendre la coordination au sein du mouvement et la façon dont le préjudice a pu se propager en tant que réseau. Comprendre la croissance du réseau nous aidera à mieux lutter contre les réseaux nuisibles à l'avenir.

Coordination

Nous avons pu observer une coordination directe pour Stop the Steal par le biais d'un travail d'enquête, en nous appuyant sur des sources externes pour obtenir des pistes.

Les termes Stop the Steal et Patriot Party ont été amplifiés à la fois sur la plateforme et en dehors. Ali Alexander et les sœurs Kremer ont répété ces slogans lors de rassemblements et les ont diffusés par le biais de super groupes comme Women4Trump et Latinos for Trump. Les sœurs Kremer étaient administratrices de Women4Trump et du groupe original Stop the Steal. Après le 6 janvier, Amy Kremer a confirmé sur la plateforme qu'elle était une organisatrice du rassemblement Stop the Steal qui a précipité l'Insurrection du Capitole.

Ali Alexander a travaillé sur et en dehors de la plateforme, en utilisant les apparitions dans les médias et le soutien de célébrités. Nous l'avons également observé s'organiser de manière formelle avec d'autres personnes pour diffuser le terme, notamment avec d'autres utilisateurs ayant des liens avec des milices. Il a réussi à échapper à la détection et à la répression en choisissant soigneusement ses mots et en s'appuyant sur des histoires qui ne sont plus d'actualité.

Ce type d'enquête approfondie nécessite du temps, une connaissance de la situation et un contexte dont nous ne disposons pas toujours. Quels types de signaux comportementaux pourrions-nous exploiter pour observer la coordination lorsque nous n'avons pas le temps ou le contexte pour mener des enquêtes approfondies ? Quels types d'analyses et de modèles pourrions-nous élaborer pour nous aider à identifier ces réseaux à l'avenir ?

Invitations de groupe

Une façon d'observer la coordination dans un mouvement est de regarder le growth hacking. Le growth hacking n'est pas toujours mauvais. Un mouvement démocratique, un mouvement de défense des droits de l'Homme, ou même un mouvement publicitaire, peuvent tous utiliser des techniques légitimes pour accroître rapidement leur audience. Cependant, lorsque la croissance est mêlée aux signaux de préjudice que nous avons décrits ci-dessus, cette croissance rapide indique la propagation du préjudice, et peut indiquer un préjudice coordonné.

Stop the Steal a pu se développer rapidement grâce à des invitations de groupe coordonnées : 67 % des inscriptions à StS se sont faites par le biais d'invitations. De plus, ces invitations étaient dominées par une poignée de super-inviteurs : 30 % des invitations provenaient de seulement 0,3% des invitants. Les invitants ont également tendance à être liés les uns aux autres par des interactions – ils commentent, marquent et partagent le contenu des autres. Il s'agit d'invitants ayant chacun plus de 500 invités. Dans le groupe StS le plus important, il y avait 137 super-inviteurs, avec 500 invités chacun. Parmi ces utilisateurs, 88 étaient administrateurs d'autres groupes StS, ce qui suggère une coopération pour développer le mouvement. Ces super-inviteurs présentaient d'autres indicateurs d'un comportement de spammeur : 73% avaient de mauvaises statistiques d'amitié, avec un taux de rejet des demandes d'amis supérieur à 50%. 125 d'entre eux ont probablement dissimulé l'emplacement de leur domicile. 73 d'entre eux étaient membres de groupes de conspiration nuisibles. Nous avons également constaté que les invitants à ces groupes ont tendance à être connectés. Au début du mois de janvier, avant le pic post-insurrectionnel dans les groupes StS et PP, la moitié de tous les invitants ayant plus de 100 invités s'étaient également engagés les uns envers les autres, soit directement par le biais de la messagerie et du marquage, soit avec le contenu de l'autre au cours du mois précédent, ce qui suggère que de nombreux invitants étaient liés les uns aux autres.

(Le rapport de Facebook comprend un graphique montrant comment "la plupart des grands invitants sont connectés les uns aux autres).

Cette croissance s'est produite en dépit de nos tentatives pour l'empêcher : l’équipe d’intervention a identifié des risques autour de l'invitation des groupes, ce qui a conduit à la croissance rapide des groupes anti-quarantaine. Les super-inviteurs ont été en mesure de faire croître rapidement de nouveaux groupes, permettant à la fois la croissance rapide de groupes nuisibles, et aidant à éviter la mise en application lorsque des groupes de secours ont remplacé des groupes désactivés. En réponse, un plafond de 100 invitations/personne/jour a été mis en place. Nous avons mis en place une limite supplémentaire de 30 ajouts par heure (désormais obsolète) pendant la croissance des groupes Stop the Steal pour les utilisateurs ajoutant de nouveaux amis (< 3 jours) à de nouveaux groupes (< 7 jours) à des groupes ayant certaines propriétés ACDC. Cependant, toutes les limites de taux n'ont été efficaces que dans une certaine mesure et les groupes ont quand même pu se développer de manière substantielle.

Tout mouvement réussi connaît également une croissance organique qui ne doit pas être négligée. Un tiers de la croissance provient de l'autoadhésion et, bien que la plupart des invitations proviennent d'une poignée d'utilisateurs, 82 % des invitants ont invité moins de 10 personnes. Cette combinaison de growth hacking et de croissance organique a illustré à quel point les mouvements de réseau nuisibles peuvent être compliqués. Afin d'explorer cette croissance et la mesure dans laquelle elle a été alimentée par l'amplification des slogans, nous avons exploré la façon dont le contenu a circulé dans le réseau StS plus large, dans les groupes et au-delà.

Comprendre le réseau

Grâce aux couloirs d'information, nous avons pu identifier la communauté élargie où StS et la délégitimation des élections étaient les plus discutés. Nous avons commencé par identifier les utilisateurs qui publiaient le plus de messages utilisant un langage délégitimant, et qui utilisaient une grande variété de termes. Il s'agissait des personnes les plus engagées dans le StS. Nous nous sommes ensuite étendus à toutes les personnes avec lesquelles ils interagissaient et avons identifié les utilisateurs qui utilisaient également beaucoup le langage Stop the Steal, ou qui avaient une forte propension à le faire sur la base de nos classificateurs. Ce réseau de grands utilisateurs de StS est notre couloir d'information (IC). Il identifie la partie du réseau social sur la plateforme où circule le contenu nuisible. Pour une démonstration générale des couloirs d'information de Stop the Steal.

Sur les 6 450 personnes ayant un taux d'engagement élevé, 4 025 (63 %) étaient directement connectées les unes aux autres, ce qui signifie qu'elles ont interagi avec le contenu des autres ou se sont envoyées des messages. En utilisant l'ensemble du couloir d'information, 77 % étaient connectés les uns aux autres. Cela suggère que la majeure partie de l'amplification de Stop the Steal s'est produite dans le cadre d'un mouvement cohésif.

(Le rapport de Facebook comprend un diagramme de réseau montrant comment "les couloirs d'information nous permettent d'identifier la partie du réseau où circule le danger")

En suivant ces circuits linguistiques, nous pouvons mieux saisir le mal coordonné qui circule dans le réseau. Les membres du couloir ont produit 33 % de haine en plus, 31 % de VNI en plus, par rapport à la communauté plus large autour des personnes les plus engagées. Les membres d'un couloir d'information sont vulnérables au message nuisible qui est propagé parce qu'ils sont soumis à ce contenu nuisible et sont les plus susceptibles de s'y engager. Les amplificateurs dans le CI sont des utilisateurs qui sont connectés à beaucoup d'autres de ces utilisateurs vulnérables, ainsi nommés parce que tout ce qu'ils disent atteint un public plus large. En examinant les modèles de langage des amplificateurs, nous pouvons mieux comprendre les méfaits qui sont poussés par la CI. Les amplificateurs ont affiché 98% plus de VNI et 40 % plus de haine. Le noyau de ce réseau avait 85 % de VNI en plus, et 45 % de haine en plus. Nous avons également identifié le noyau de la CI – l'ensemble des utilisateurs qui s'engagent étroitement les uns avec les autres, en utilisant la décomposition k-core.

(Le rapport de Facebook comprend un graphique montrant les relations entre "les utilisateurs étroitement liés au centre du réseau")

Pour comprendre comment le mouvement perpétue le préjudice, nous devons également comprendre dans quelle mesure il persiste au-delà des coordinateurs et des amplificateurs. Nous voulons également comprendre dans quelle mesure les utilisateurs qui ont interagi avec les coordinateurs et les amplificateurs produisent également des dommages. Pour ce faire, nous avons examiné la proximité du public autour des invitants décrits ci-dessus. Les utilisateurs qui se sont le plus engagés auprès des invitants ayant au moins 50 invités. Les utilisateurs qui ont le plus interagi avec ces invitants ont produit 92% de VNI en plus, et 49% de haine en plus. Dans le même ordre d'idées, nous avons également constaté que les couloirs d'information permettent de relier les utilisateurs du cœur du réseau StS à ceux de la périphérie, contribuant ainsi à diffuser le message sur l'ensemble du réseau.

Dans l'ensemble, nous avons pu montrer que là où les signaux du PP et du StS étaient amplifiés par le contenu et l'invitation, il y avait également des niveaux plus élevés de haine et de violence, ce qui suggère que ces mouvements étaient nuisibles et que le mal était perpétué par un réseau que nous avons pu définir.

Croissance du Parti patriote (PP)

Stop the Steal n'est pas le seul mouvement qui s'est développé autour du thème D14N. Le Patriot Party est un autre mouvement qui s'est développé à partir de StS et qui a fini par lui faire concurrence, en montrant des niveaux de préjudice similaires. De nombreux coordinateurs du PP ont exprimé leur déception face à l'échec du mouvement StS à faire ce qu'il avait promis, et leur besoin d'aller plus loin en apportant un changement systémique à travers un nouveau parti politique. Sur l'autre site, les administrateurs et les leaders réels de StS avaient une grande quantité de célébrité et d'officialité (ceux qui n'étaient pas bannis de la plateforme – Trump, Roger Stone, Alex Jones...etc.) qu'ils ne voulaient pas nécessairement être perçus comme se détournant du parti républicain traditionnel pour lancer un parti patriote hargneux, potentiellement plus en colère.

Les administrateurs de PP ont tenté de recruter des membres dans les groupes StS et Joe Biden is NOT my President. Les messages populaires et les affiches fréquentes sur les pages et les groupes de PP utilisaient souvent le slogan Stop the Steal, surtout avant l'inauguration. Nous avons également constaté que le PP était en mesure de se développer dans les couloirs du StS : les membres du StS IC étaient 6 % plus susceptibles d'utiliser le terme " Patriot Party ". En fin de compte, le PP ne s'est jamais développé autant que le StS, en grande partie à cause des leçons que nous avons tirées du StS et que nous avons pu rapidement appliquer au PP.

(Le rapport de Facebook comprend deux graphiques montrant comment les "couloirs d'information" ont permis à la société de "suivre les signaux linguistiques supplémentaires qui se développent au sein du réseau")

Les dirigeants du PP ont eu un succès mitigé en recrutant parmi les sympathisants de StS. Lorsque les groupes StS ont été désactivés, leurs membres ont afflué vers les groupes PP : 20 % des groupes que les membres des groupes StS désactivés ont rejoint étaient des groupes PP. Nous avons pu atténuer cette croissance en limitant les groupes que de nombreux utilisateurs rejoignaient après avoir été désactivés, comme mesure électorale de Break The Glass. Cependant, les groupes StS n'étaient pas la principale source des groupes PP : seulement 6,5 % des membres de groupes PP ayant fait l'objet d'une action faisaient partie d'un groupe StS ayant fait l'objet d'une action, et seulement 1,1 % des membres de groupes StS ayant fait l'objet d'une action ont rejoint un groupe PP ayant fait l'objet d'une action, avec seulement 3 administrateurs partagés sur environ 1000. De plus, nous avons constaté que le PP a été principalement poussé par des amplificateurs au sein du CI StS qui n'ont pas pleinement réussi : nous n'avons pas vu une utilisation généralisée du terme PP par des membres moins engagés du CI – tirant les leçons de notre travail précédent sur StS, nous avons pu arrêter le PP avant qu'il ne puisse se répandre.

(Le rapport Facebook incluait un graphique montrant la "similarité Jaccard des membres du groupe")

Réponse aux crises

Suivi des mouvements évolutifs et interreliés

L'une des choses les plus efficaces et les plus convaincantes que nous ayons faites a été de rechercher les chevauchements des réseaux observés avec les milices et les organisations haineuses. Cela a fonctionné parce que nous étions dans un contexte où ces réseaux étaient bien cartographiés. Pendant les crises, il est probable que plusieurs escalades soient en cours en même temps, et que différentes équipes se concentrent sur différents réseaux autour du DOI, des fausses informations et d'autres préjudices. En les combinant, nous avons pu mieux comprendre comment la nature du préjudice était coordonnée et la myriade de tactiques utilisées. Lorsque le PP est apparu, le fait de montrer le lien entre le PP et le StS nous a aidés à comprendre le mal perpétré par le PP dans son contexte, alors que le mal aurait pu être moins apparent seul.

Nous avons également été en mesure d'ajouter des frictions à l'évolution des mouvements nuisibles et de la coordination par le biais des mesures BTG (Break the Glass). Nous avons pris des mesures douces sur les groupes que les utilisateurs rejoignaient en masse après qu'un groupe ait été désactivé pour le PP ou le StS, ce qui nous a permis d'injecter de la friction à un moment critique pour empêcher la croissance d'une autre alternative après la désignation du PP, lorsque la vitesse était critique. Nous avons également été en mesure d'ajouter des limites de caractéristiques temporaires aux acteurs s'engageant dans des comportements de coordination, tels que les super-affiches et les super-inviteurs dans les groupes qui ont été supprimés, afin de les empêcher de propager le mouvement sur d'autres surfaces. Ces ensembles de limites temporaires de caractéristiques nous ont permis de mettre un frein à la croissance à un moment critique, afin de ralentir l'évolution des mouvements antagonistes et le développement de nouveaux mouvements. Notre travail en cours par le biais du groupe de travail sur la désagrégation des réseaux nous aidera à faire des appels plus nuancés sur les actions douces à l'avenir afin d'appliquer une friction aux mouvements nuisibles.

Signaux de préjudice coordonné

Outre le suivi de l'évolution du réseau décrit ci-dessus, plusieurs signaux se sont avérés particulièrement utiles pour nous aider à identifier les dommages coordonnés. Plus précisément :

  • Les signaux de contenu : L'agrégation de nombreux signaux provenant du contenu au sein d'une entité complexe nous a aidés à obtenir une vue d'ensemble de ce qui se passait au sein de ces entités afin de comprendre les préjudices de manière générale. Nous avons utilisé les tableaux HELLCAT pour comprendre la relation entre les signaux textuels liés à un mouvement ou à une escalade et la haine et la violence. Cela nous a également permis de comparer les signaux de nombreuses escalades et préjudices en cours. Nous avons également pu utiliser le tableau CIRD pour rechercher rapidement et facilement des entités complexes dans les nouveaux signaux textuels. Ces tables nous ont également permis de lancer rapidement des classificateurs D14N pour le contenu et les entités complexes une fois qu'une désignation s'est produite.
  • Signaux de croissance rapide et d'amplification : Un signal important était le taux de croissance des groupes. Cette croissance semble être due à l'amplification et à la coordination : les groupes partagent des administrateurs communs et des super-inviteurs, et ces personnes influentes participent à tous les groupes.
  • Le partage rapide d'URL est un autre moyen d'amplifier et de répandre rapidement un mouvement, en représentant le mouvement par des sources hors plateforme qui sont plus difficiles à imposer. Sur la base des enseignements tirés de l'amplification, nous avons également créé des outils (couloirs d'information) pour nous aider à comprendre la croissance des slogans et des termes au sein d'un mouvement, afin de comprendre comment il est amplifié et à quelle vitesse il se développe.
  • Image de marque : Tous les mouvements n'ont pas une marque commune, mais lorsque c'est le cas, c'est un signe évident de coordination. Les groupes et les pages du PP utilisent des logos identiques ou similaires pour identifier les sources officielles.
  • Groupes réservés aux administrateurs et structure organisationnelle formelle représentée sur la plateforme : PP avait des Groupes réservés aux administrateurs où une coordination formelle était organisée. Cela ne se produit pas toujours sur la plateforme, en particulier avec les réseaux adverses, mais c'est un signal clair lorsque c'est le cas.


(Le rapport Facebook incluait trois exemples de logos du Parti patriote)

Conclusion

Lacunes :

Nous pouvons tirer de nombreux enseignements de nos succès et de nos difficultés à atténuer StS et PP, qui sont extrêmement précieux pour comprendre les lacunes en matière de détection, d'application et de politique.

L'accent mis au début sur les violations individuelles nous a fait manquer les dommages dans le réseau plus large
.
  • Les différences de désignation entre STS et Storm the Capitol ont rendu difficile l'application de la loi, car nous ne pouvions pas compter les frappes. Les différences entre les domaines politiques ont rendu plus difficile un effort unifié pour s'attaquer au préjudice de délégitimation dans son ensemble, nous obligeant plutôt à cibler différentes parties du problème au coup par coup, la vague plus large du mouvement passant à travers les mailles du filet.
  • Nous avons pu observer la croissance du PP à travers StS, mais il s'agissait d'un processus très manuel. Il nous a fait nous interroger sur ce que nous manquions, et qui renaîtrait de ses cendres une fois que nous aurions détourné notre attention. De plus, StS et PP étaient en compétition l'un avec l'autre, le mouvement StS a peut-être aidé PP à se développer. Nous avons besoin d'outils et de protocoles pour gérer l'évolution des mouvements à l'avenir et pour désigner rapidement de nouveaux mouvements autour des anciens préjudices qui apparaissent lorsque le champ est libéré de la concurrence.
  • Nous avons peu de politique concernant les dommages authentiques coordonnés. Si certains des administrateurs avaient des liens avec le VICN ou étaient des comptes récidivistes, la majorité des administrateurs étaient "authentiques". StS et PP ne mobilisaient pas directement le mal hors ligne ni ne promouvaient directement la militarisation. Au contraire, ils amplifiaient et normalisaient la désinformation d'une manière qui délégitimait une élection démocratique libre et équitable. Le préjudice existait au niveau du réseau : le discours d'un individu est protégé, mais en tant que mouvement, il a normalisé la délégitimation et la haine d'une manière qui a entraîné un préjudice hors ligne et un préjudice aux normes qui sous-tendent la démocratie.
  • Que faisons-nous lorsqu'un mouvement est authentique, coordonné par des moyens populaires ou authentiques, mais qu'il est intrinsèquement nuisible et viole l'esprit de notre politique ? Que faisons-nous lorsque ce mouvement authentique épouse la haine ou délégitime les élections libres ? Ce sont quelques-unes des questions auxquelles nous tentons de répondre par la recherche et la création d'outils au sein du groupe de travail sur la désagrégation des réseaux nuisibles, et auxquelles nous nous attaquons dans le cadre de la politique sur les réseaux nuisibles adverses.
  • Une politique de coordination des dommages authentiques nécessite une définition plus large de la coordination pour gérer les dommages au niveau du réseau ou du mouvement et l'interaction entre la croissance organique et inorganique. Il a été difficile d'établir une coordination (en dehors de l'utilisation du même logo) entre des centaines de groupes/pages, car le mouvement n'est pas dirigé par quelques acteurs, mais est plutôt "adopté" et "promu" par des utilisateurs authentiques.
  • Nous avons besoin d'un éventail complet d'interventions, de l'action dure à l'action douce, afin de mieux gérer la croissance des mouvements organiques nuisibles. Notre définition étroite de la coordination est centrée sur des actions punitives dures. Afin de ralentir la croissance des mouvements, nous devrions apprendre de nos BTG et appliquer une gamme d'interventions de comptage, de friction, d'actions douces et d'actions dures afin de promouvoir une communauté plus saine au-delà du ciblage des pires contrevenants.
  • L'application de la loi manque d'une source unique de vérité. L'étiquetage et l'attribution des cas n'étaient pas cohérents dans le cadre de l'application en masse, de l'application continue et de l'application adhoc, ce qui rendait difficile l'analyse de la récidive, le suivi de l'évolution des mouvements et les rétrospectives et recherches de suivi.


Prochaines étapes :

Heureusement, nous avons beaucoup appris de l'IOPC US2020 et des cas StS et PP. Voici nos prochaines étapes.

  • Développer les outils que nous avons utilisés : Des banques de requêtes et des livres de recettes pour reproduire rapidement nos analyses ad hoc. Ajouter les étapes que nous avons suivies dans des protocoles formels. Améliorer et intégrer les techniques dans des outils tels que C4, ENVI et ANP notebooks, et intégration dans Centra.
  • Construire de nouvelles méthodes autour de la désagrégation des réseaux et les ajouter à notre outillage. Restez à l'écoute pour l'intégration future de la modélisation cœur-périphérie et des couloirs d'information dans l'outillage CORGI.
  • Apprendre aux enquêteurs à utiliser les outils et les techniques que nous développons par le biais de communautés d'intérêts telles que le Network Tools for Investigators Group, le Actor Investigation XFN et l'amélioration de la documentation.
  • Utiliser ces cas et ces outils pour nous aider à comprendre les préjudices organiques coordonnés et les préjudices au sein des réseaux afin d'élaborer de nouvelles politiques. Restez à l'écoute de nouvelles notes comme celle-ci, car nous continuons à en apprendre davantage !
  • Tester ces nouvelles méthodes sur des enquêtes en cours. Par exemple, nous utilisons nos techniques de désagrégation des réseaux pour identifier les utilisateurs dans le cadre d'interventions de contre-discours autour des groupes haineux américains. Nous travaillons également sur une série de cas en Éthiopie et au Myanmar pour tester le cadre en action. Nous travaillons avec BONJOVI pour mettre en place des protocoles pour les enquêteurs.


N'hésitez pas à nous contacter si vous avez un cas d'utilisation qui pourrait bénéficier de l'utilisation de ces outils et protocoles ! Nous serions ravis de travailler avec vous pour vous aider à suivre un réseau nuisible plus large et à comprendre la coordination au sein de ce réseau.

Et vous ?

Qu'en pensez-vous ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de el_slapper
Expert éminent sénior https://www.developpez.com
Le 27/04/2021 à 16:33
J'irais même plus loin : ils soutiennent tout ce qui leur fait du Traffic. Les émeutes du capitole ont été particulièrement juteuses en terme de Traffic. Je ne doute pas qu'un équivalent bolchévique subirait le même sort : on laisse faire parce que c'est bon pour le business.
7  1 
Avatar de Claude40
Membre actif https://www.developpez.com
Le 01/05/2021 à 8:13
J’ai écrit un jour sur ce forum que les réseaux sociaux étaient « la nouvelle arme de destruction massive », et cela en a fait sourire plus d’un !
A supposer que l'entreprise ait vraiement l'intention de contrôler, même une armée de développeurs et modérateurs sera impuissante au final, car elle agira toujours après coup, avec systématiquement un ou deux temps de retard.
7  1 
Avatar de OrthodoxWindows
Membre émérite https://www.developpez.com
Le 12/02/2024 à 18:11
En fait c'est simple de détecter un deepfake de Joe Biden ; s'il ne fait pas d'erreur ou de confusion de son discours, c'est que c'est un deepfake .

5  0 
Avatar de lololapile
Membre régulier https://www.developpez.com
Le 01/05/2021 à 21:34
Je suis bien sûr opposé à l'incitation à la violence ou à la haine. Ce qui m'inquiète beaucoup plus c'est la censure que les réseaux sociaux (Youtube par exemple) mettent en place. Si vous voulez critiquer l'action gouvernementale sur la pandémie ou livrer votre propre analyse sur les traitements anti-covid vous êtes immédiatement censurés. Je trouve cela complètement anti-démocratique et très inquiétant pour l'avenir de notre société. Nous nous acheminons progressivement vers une dictature où seul le gouvernement peut s'exprimer.
5  1 
Avatar de OrthodoxWindows
Membre émérite https://www.developpez.com
Le 20/03/2023 à 23:18
Le retour de Trump vu par ses sympathisant :



Et par ses adversaires :

4  0 
Avatar de virginieh
Membre expérimenté https://www.developpez.com
Le 13/02/2024 à 13:38
Citation Envoyé par OrthodoxWindows Voir le message
Ce pays a surtout atteint un niveau d’abstention est de désintérêt pour la politique très élevé, probablement parce que les gens on vraiment la sensation d'un foutage de gueule généralisé.
En quoi il diffère du notre du coup ?
4  0 
Avatar de byrautor
Membre éclairé https://www.developpez.com
Le 30/04/2021 à 18:29
Que faire de cet embrouillamini "d'informations" ; c'est la pagaille mentale.
3  0 
Avatar de Steinvikel
Membre expert https://www.developpez.com
Le 01/05/2021 à 14:44
+1
..c'est pas la fonction qui définit son emploi, c'est l'inventivité du cerveau de l'utilisateur qui en détermine ses contextes et ses limites, en fonction des caractéristiques que présente l'objet. Les évolutions /corrections ont toujours au moins un cycle de retard quand il s'agit de contrer l'utilisateur.

ex : un crayon de papier c'est pour écrire ...certain l'utiliseront comme poignard, d'autres comme enrouleur à cassette (oui, je suis vieux), d'autres encore, l'utiliseront comme anti-stress dans la main.
3  0 
Avatar de Saverok
Expert éminent https://www.developpez.com
Le 04/05/2021 à 15:28
Citation Envoyé par lololapile Voir le message
Je suis bien sûr opposé à l'incitation à la violence ou à la haine. Ce qui m'inquiète beaucoup plus c'est la censure que les réseaux sociaux (Youtube par exemple) mettent en place. Si vous voulez critiquer l'action gouvernementale sur la pandémie ou livrer votre propre analyse sur les traitements anti-covid vous êtes immédiatement censurés. Je trouve cela complètement anti-démocratique et très inquiétant pour l'avenir de notre société. Nous nous acheminons progressivement vers une dictature où seul le gouvernement peut s'exprimer.
Vu le nombre de vidéos qui circulent sur ces sujets, pas convaincu que la censure soit si virulente que ça

Ensuite, la quantité de messages / vidéos postée à le seconde est juste hallucinante.
C'est matériellement impossible d'avoir une modération humaine pour traiter 100% des posts.
Le traitement automatisé est obligatoire.
Par contre, il est d'une complexité folle car doit tenir compte du contexte, de l'argo, de la culture, etc.
Du coup, les entreprises comme Facebook, Youtube et consorts se protègent elles-mêmes car il est nettement moins préjudiciable de censurer à tord un post, qui pourra être republié après examen par un modérateur humain que de laisser un post litigieux trop longtemps.

Y a régulièrement des hurluberlus qui postent des messages du style "boire de l'eau javel guéri de"
Si Youtube tarde trop à supprimer cette vidéo et qu'un demeuré suive cette consigne et en meure...
Certes, le gus l'aura bien cherché mais la responsabilité de Youtube pourrait être engagée.
Du coup, Youtube a plutôt intérêt à muscler très fortement sa modération automatique dès que le mot Javel est présent, quitte à en à faire trop.

Et c'est la même chose avec pas mal de sujets sensibles dont la COVID, la santé en général ou encore le terrorisme.

Alors ça peut paraître absurde et salaud pour la ménagère qui donne ses tutos de nettoyage mais quand on se place du point de vue de ces plateformes, le principe de précaution se comprend plutôt bien.

Pour finir, la liberté d'expression a tjrs été relative en tout temps et tout lieu.
Va dans un club d'ultra de l'OM et chante une chanson à la gloire du PSG et tu pourras refaire un post sur ta liberté d'expression bafouée
Faut savoir choisir le lieu pour exprimer certaines choses.
C'est juste du bon sens.

Si tu tiens vraiment à t'exprimer en totale liberté, créé ton propre site que tu héberges chez toi et tu pourras alors t'automodéré.
Certes, ça sera un peu la même chose que d'aller seul au milieu du désert et d'hurler dans le vide mais au moins, y aura personne pour te limiter dans ton expression
3  0 
Avatar de pcdwarf
Membre éprouvé https://www.developpez.com
Le 14/06/2021 à 13:58
Qu'on aime trump ou pas, je trouve cette suspension scandaleuse.
Elle démontre que les grands acteurs du numérique ne sont pas aussi neutres qu'ils le prétendent.
3  0