Developpez.com

Le Club des Développeurs et IT Pro

Un père a pris en photo son enfant nu et l'a envoyée au pédiatre, mais Google l'a marqué comme criminel

Après avoir désactivé son compte et signalé aux forces de l'ordre

Le 2022-08-22 00:02:05, par Olivier Famien, Chroniqueur Actualités
Alors que de nombreuses personnes ont tiré la sonnette d’alarme sur les risques d’intrusion des géants de la Tech dans la vie privée des utilisateurs au motif de lutter contre les abus sur les enfants, de nombreuses organisations de protection de l’enfance se sont réjouies de l’analyse des fichiers effectuée par les grandes entreprises comme Apple et Google. Récemment, il a été rapporté qu’un père de famille vivant aux États-Unis a fait l’objet d’une enquête du gouvernement après avoir envoyé au médecin les photos d’une enflure située au niveau du sexe de son fils à des fins d’examen pour une prescription.

L’an dernier au mois de février, Mark, un ingénieur logiciel qui est actuellement père au foyer, a été pris pour cible par l’algorithme de Google permettant de détecter les images d’abus sexuels sur enfants. Cette situation s’est produite lorsque Mark a constaté que le pénis de son fils avait l’air enflé et lui faisait mal. Possédant un téléphone Android, Mark a fait des photos de l’enflure dans laquelle apparaît son doigt pour indiquer où se trouve le problème. Il a ensuite appelé d’urgence son service de santé le vendredi soir pour une consultation par vidéo, car le lendemain était samedi et la pandémie faisait encore rage. Sur demande de l’infirmière, la femme de Mark a envoyé sur son iPhone les photos de l’enfant prises à partir du téléphone de Mark. Ceci, afin de pouvoir les télécharger sur la plateforme de leur service de santé. Après avoir reçu les photos, le médecin les a examinés et a prescrit des antibiotiques qui ont permis de régler le problème assez rapidement.

Si le chapitre de la santé du fils de Mark a pris fin après cette prescription, un autre problème venait de commencer pour Mark. En effet, pour lutter contre la pédopornographie, Google, le géant du Web, et même Apple et Microsoft analysent aussi bien les informations en ligne qui sont traitées par leurs serveurs ainsi que les informations privées contenues sur les appareils des utilisateurs comme les photos, les vidéos, et autres informations susceptibles d’être en lien avec des images d’abus sexuels sur les enfants. Aussi, deux jours après avoir pris les photos de son fils avec son téléphone Android, celui-ci a émis un bruit de notification atypique. Google venait de l’informer que son compte a été désactivé et était invité à prendre les mesures idoines pour son rétablissement. Un lien lui avait été fourni sur la page afin de lui donner les éventuelles raisons qui avaient conduit à la désactivation de son compte.

Troublé par ce qui venait de se passer, l’ingénieur logiciel s’est souvenu de la photo de son enfant qu’il avait prise et a conclu que Google devait croire qu’il s’adonnait au contenu pédopornographique. Mark qui a déjà travaillé en tant qu’ingénieur logiciel dans une grande entreprise sur un outil automatisé utilisé pour supprimer des vidéos signalées comme problématiques s’est dit que le problème allait être réglé facilement vu qu’il y a toujours des personnes physiques travaillant de concert avec l’outil de détection automatique. Mais que nenni ;! Après avoir renseigné le formulaire de réclamation, Google a maintenu sa position en bloquant l’accès à son compte.


Nous précisons que Mark dispose d’un compte Gmail depuis le milieu des années 2000 avec ses photos et vidéos stockés sur Google Cloud. Il dispose même d’un forfait téléphonique Google Fi. Avec la désactivation de son compte, non seulement il n’a plus accès à ses emails, ses photos, vidéos personnelles, numéros de contacts, mais aussi certains comptes tiers pour lesquels il a utilisé son compte Google ou son numéro de téléphone comme support de vérification.

Lorsque Google fait une telle découverte d’image d’abus d’enfants, cela ne s’arrête pas au simple verrouillage de compte. L’entreprise recherche d’autres éléments d’exploitation et, comme l’exige la loi fédérale, fait un rapport à la CyberTipline du National Center for Missing and Exploited Children. Et c’est ce qui s’est passé. En effet, dix mois plus tard, c’est-à-dire en décembre 2021, Mark a reçu par la poste une lettre du département de police de San Francisco l’informant qu’il avait fait l’objet d’une enquête ainsi que des copies des mandats de perquisition signifiés à Google et à son fournisseur d’accès Internet. Les informations utilisées lors de l’enquête contenaient ses recherches sur Internet, son historique de localisation, ses messages et tout document, photo et vidéo qu’il avait stockés auprès de Google.

Ayant contacté l’agent fédéral qui a mené l’enquête pour savoir à quoi il devait s’attendre, ce dernier lui a signifié que l’affaire était close. Aucune charge n’a été retenue contre lui. Aucun élément de crime n’a été trouvé. En outre, l’agent du gouvernement lui a expliqué qu’il a essayé d’entrer en contact avec lui, mais son numéro et son adresse ne fonctionnaient pas. Soucieux de récupérer son compte, Mark a demandé à l’agent de communiquer à Google le rapport de l’enquête afin que son compte soit réactivé, mais l’agent lui a expliqué qu’il ne pouvait rien faire à ce niveau. Il y a deux mois, Mark a reçu un avis lui signifiant que son compte a été définitivement supprimé. Voyant le préjudice qu’il a subi de la part de Google, Mark s’est tourné vers un avocat pour voir s’il pouvait intenter un procès contre l’entreprise. Mais vu les frais qui s’élèvent à 7000 dollars, Mark a décidé de laisser tomber.

Mark n’est pas le seul dans cette situation. Le 22 février 2021, le même scénario s’est produit avec un homme nommé Cassio qui a expliqué en ligne qu’après avoir pris des photos de son fils qui avait une infection au niveau de ses parties intimes pour les envoyer à son pédiatre, il a reçu un message de Google qui a désactivé son compte. Après avoir saisi l’entreprise pour un réexamen de sa situation, l’entreprise lui a signifié que son compte ne serait pas restauré.

Source : Twitter, Message de Cassio

Et vous ?

Quels commentaires faites-vous de cette affaire ?

Selon vous, comment doit-on s’y prendre pour éviter d’éventuelles dérives comme ce fut le cas avec Mark et Cassio ?
  Discussion forum
83 commentaires
  • Aiekick
    Membre extrêmement actif
    j'espere que cet incident ouvrira les yeux aux gens.

    google a de nombreux service gratuits qui sont tres bien fait et pour une bonne raisons.
    une fois que vous ne pouvez plus vous en passer, il ya une sorte de chantage qui s'installe.

    mais au dela de ca, il peut tout vous couper comme ca lui prends. c'est couvert dans les dispositions generales que
    vous n'avez pas le choix de signer regulierement pour continuer a utiliser les services en question. (le fameux chantage dont je parlais)

    Et comme pour les jeux et apps qui sont supprimés avec un messages abscons sans possibiltié de faire appel par le dev, ni contact de quoi que ce soit,
    vous perdez d'un coup l'acces a tous les services google dont vous etes dependant d'une maniere ou d'une autre, donc tout vos mails, votre telephone android, et toute les autres services, comme google ads (que vous ayez des sous ou pas dedssus bien evidemment).

    si vous etendez ca aux autres GAFAM, ca peut limite vous couper de la plupart des grand services mainstream d'internet.

    Pour eviter ca, il ne faut pas mettre tout ces oeufs dans le meme panier, soit, commencer, a ce passer d'eux quand c'est possible.

    Et c'est pas evident, mais necessaire. ce qui lui est arrivé peut vous arriver pour un motif encore plus light..
  • petitours
    Membre chevronné
    Envoyé par Patrick Ruiz

    Interdire le scannage automatique des communications privées ou le maintenir : de quel bord êtes-vous ?
    Que rien ne peut justifier le scan de communications privées qui par définition relèvent de la vie privée.
    Sur le fond c'est un scandale que Google les scanne et sur ce cas particulier c'est l'équivalent d'un mauvais fonctionnement que de les bloquer.

    Envoyé par Patrick Ruiz

    Quelles solutions techniques préconisez-vous dans le cas d’un maintien du scannage automatique des communications privées pour garantir un équilibre entre vie privée et sécurité ?
    Aucune, on ne va pas voir ce qui relève du privé, point. La question ne peut se poser que pour les communications publiques ou là il y a par contre beaucoup à faire contre les manipulations, les harcèlements et bien d'autres choses
  • OldGhost
    Membre à l'essai
    La situation interpelle d’autant plus que l’UE travaille ce que les tous les fournisseurs de services de courrier électronique, de chat et de messagerie fouillent dans les communications privées à la recherche de messages suspects de manière entièrement automatisée et à les transmettre à la police dans le cadre de la lutte contre la pédopornographie. La présentation d’un projet de loi y relatif s’est en principe faite au cours du mois de mai de l’année en cours.
    En résumé, Bruxelles veut officialiser la capacité des fournisseurs américains à faire de l'espionnage industriel pour le compte des US et au détriment des pays européens, sous couvert de lutte contre la pédocriminalité.

    Les réseaux organisés de pornographie infantile n'utilisent pas le courrier électronique ou les services de messagerie, mais les forums du darknet
    Pas de chance ! Encore une mesure inutile par rapport à l'objectif annoncé, à croire que tout est fait pour aller vers une société de cyber-contrôle et d'espionnage de masse.
  • LeBreton56
    Membre régulier
    je me demande comment des européens peuvent voter ce genre de surveillance et en même temps défendre la RGPD et la protection des identités
    Il est inadmissible que des sociétés privées aient le pouvoir(et devoir apparemment) de fouiller dans notre vie privée alors qu' en générale la police ou la gendarmerie a besoins d'un mandat pour le faire.

    je pense que nos politique sont tombés sur la tête et ne comprennent rien à l'informatique et au réseaux. a moins que des soit disant expert leur aient vendue la lune.

    j'en pleure sur la patrie de la liberté égalité fraternité.
  • chrtophe
    Responsable Systèmes
    Quelles solutions techniques préconisez-vous dans le cas d’un maintien du scannage automatique des communications privées pour garantir un équilibre entre vie privée et sécurité ?
    une solution : https://fr.wikipedia.org/wiki/Proton_Mail, mais limité ne version gratuite
    autre solution ; Utilisation de client de messagerie prenant en charge OpenPGP, mais galère, il faut créer un jeu de clé publique/cl privée et le destinataire doit l'utiliser.

    Quelle que soit la situation, ayez une sauvegarde offline de vos mails , et dans la mesure du possible, utilisez une adresse sur votre propre nom de domaine, vous pourrez ainsi changer d'hébergeur de mail à tout moment
  • tyrtamos
    Expert éminent
    Bonjour. Il y a plusieurs choses choquantes dans cette information. C'est bien pour la société que Google (et Facebook, etc...) dispose d'une surveillance pour éviter les messages illégaux et dangereux, mais encore faut-il ne pas le faire n'importe comment. Dans le problème cité:
    - comment une conversation et une photo communiquées dans le cadre d'une consultation médicale ont-elles pu être scannées? Il n'y a plus de secret médical?
    - la police ayant vérifié et constaté qu'il n'y a rien de répréhensible, comment Google ose-t-il refuser de restaurer le compte annulé?

    Un problème du même genre mais heureusement moins grave, vient de m'arriver avec Facebook. J'ai été interpelé méchamment par Facebook pour un message innocent concernant... le code de la route, comme quoi il "contrevenait aux règles de Facebook"! J'avais seulement émis des doutes sur le fait que certaines règles du code de la route allemand soit compatible avec la mentalité des français. J'ai bien sûr refusé le verdict, mais Facebook a maintenu sa position. J'ai encore protesté en m'expliquant , et Facebook ne me supprime pas en disant que "une erreur est toujours possible". Ils ont donc pris acte de ma 2ème protestation mais il ne l'ont pas lue puisqu'ils ne répondent pas sur le fond. Cette dernière décision était donc elle aussi automatique.

    Il y a manifestement un algorithme qui repère les "mots interdits" sans tenir aucun compte du sens des phrases ni du contexte, et génère des sanctions automatiques.

    Ce qui me choque, c'est que dans un cas aussi simple et aussi facile à défendre que le mien, je n'ai eu manifestement aucune personne physique intelligente pour répondre à mes protestations. Cela augure mal des suites: nous qui critiquions facilement le caractère aveugle de notre administration française, nous allons vers une époque où nous serons condamnés par un ordinateur pour de fausses raisons sans aucune possibilité de se défendre. Je fini par être content d'être vieux: je ne verrai pas la suite, mais nos enfants, eux, la verront et la subiront. Triste époque...
  • totozor
    Membre expert
    Envoyé par tyrtamos
    C'est bien pour la société que Google (et Facebook, etc...) dispose d'une surveillance pour éviter les messages illégaux et dangereux
    Alors juste, non.
    Il n'y a rien de bien là dedans.
    Envoyé par tyrtamos
    - la police ayant vérifié et constaté qu'il n'y a rien de répréhensible, comment Google ose-t-il refuser de restaurer le compte annulé?
    J'ai une réponse simple et cynique : quand tu créés un compte, google t'informes que tout ce qui y est associé (mail, documents, etc) lui appartient et qu'y accéder et un service qu'il te rend.
    Donc Google n'a même pas à restaurer le compte parce que ce n'est celui du père mais celui de google.
    La seule chose à restaurer est l'accès à celui ci.

    Oui, c'est choquant mais beaucoup ont signé pour ça plus ou moins consciemment.
    Je suis dans le CA d'une association qui a un compte Gmail, et un google drive qui contient toutes nos données. J'ai suggéré que nous adoptions une alternative ou au minimum que nous ayons un back up. Leur réponse est simple : "tkt, ce genre de situation n'arrivera jamais."
    Ils ont même été réticents quand je leur ai proposé de m'occuper de faire ce back up. Je ne comprends pas ce qui bloque autant les gens, je soupçonne qu'ils ont peur de se rendre compte que tout ceci c'est se rendre compte qu'ils ont mis une grande partie de leur sécurité (et potentiellement de leur entreprise) dans un colosse aux pieds d'argile.
  • totozor
    Membre expert
    Envoyé par Olivier Famien
    Quels commentaires faites-vous de cette affaire ?
    Cette affaire ne me surprend pas vraiment, les GAFAM veulent éviter tout problème avec les autorités en dépensant le minimum donc soit il n'y a vraiment personne derrière l'analyse du recours soit ceux qui le font ont tout intérêt à rejeter le maximum de recours pour rester sous le radar des responsables en ayant un taux d'acceptation trop élevé. Donc enfant nu = refus, alors ne parlons même pas d'un pénis.
    Ce qui me surprend le plus est que ce genre de détection prenne 2 jours. Que seul l'expéditeur à l'air d'être reporté alors que celui qui réceptionne devrait - a priori - être autant suspect. (Ce qui aurait pu leur montrer que c'est un échange entre un médecin et son patient - donc sous couverture de la confidentialité médicale, non?)
    Envoyé par Olivier Famien
    Selon vous, comment doit-on s’y prendre pour éviter d’éventuelles dérives comme ce fut le cas avec Mark et Cassio ?
    Ma solution est simple : interdire ce genre d'analyse.
    Elles sont nocives et peu efficace de base (1000eme rappel : la majorité de la pédophilie concerne des cas familiaux ou des amis proches).
    Elles ont un risque de dérives vers des contrôles encore plus discutables.
  • 23JFK
    Membre expert
    Bah procès et millions milliards en guise de dédommagement. De toute façon, il n'y a qu'une grosse attaque légale sur le portefeuille qui puisse faire réfléchir ces entreprises grosses comme des états.
  • Gluups
    Membre chevronné
    Depuis le temps qu'on vous dit qu'il ne faut surtout pas avoir de compte Google !
    Ni Twitter. Ni ...