Developpez.com

Le Club des Développeurs et IT Pro

Lutte contre les propos déplacés en ligne : Google développe une intelligence artificielle

Disponible via une API pour détecter les propos "toxiques"

Le 2017-02-24 11:31:10, par Patrick Ruiz, Chroniqueur Actualités
En septembre dernier, l’entité Jigsaw, propriété de Google, lançait une initiative mettant en œuvre l’intelligence artificielle pour bannir le harcèlement, les propos haineux, bref toutes formes de propos non appropriés en ligne. Hier, dans le cadre de cette initiative, l'annonce a été faite par Jigsaw et ses partenaires de la mise à disposition du grand public d’une API dénommée Perspective.

Le rôle de Perspective est de permettre d’attribuer à un texte un score de toxicité, vous l’aurez deviné, il s’agit d’intelligence artificielle. Perspective a été entraînée en utilisant des commentaires de Wikipédia, du New York Times et d’autres médias partenaires.

« Voter pour (Pouce levé), voter contre (Pouce renversé), désactiver les commentaires ou modérer manuellement. Voilà les options qui s’offraient aux modérateurs. Désormais ils ont une nouvelle option : ajouter de l’intelligence dans la prise en compte des commentaires et s’en servir pour mieux modérer les débats au sein de leurs communautés » s’est exprimé CJ Adams, responsable des applications d’intelligence artificielle appliquées aux conversations, apportant ainsi une précision supplémentaire sur le rôle de Perspective.

Une interface de test de l’API est disponible à cette adresse. J’y ai personnellement été pour pouvoir vous offrir ces copies d’écran avant que vous ne vous y rendiez pour faire le test par vous-même :






Les résultats sont ceux que vous pouvez voir comme moi : 5 %, 34 % et 95 % de toxicité respectivement. Le cas des deux dernières copies est le plus frappant, une disparité énorme entre les pourcentages pour le même mot (stupide/stupid), preuve que l'API a encore des limites lorsqu'il s'agit d'évaluer la toxicité d'un texte en français.

Sources  : Wired

Et vous ?

Que pensez-vous de ces résultats ?
S'agit-il selon vous d'un outil fiable ?
  Discussion forum
10 commentaires
  • TiranusKBX
    Expert confirmé
    j'ai essayé
  • Traroth2
    Membre émérite
    Les idées ressemblant à de la censure se multiplient...
  • Lyons
    Membre éclairé
    Envoyé par Tartare2240
    Euh... Really ?

    Probablement car c'est un texte souvent copié/collé pour spammer
  • pierre-y
    Membre chevronné
    La notion de propos déplacé est cependant assez vague. On a tendance en premier lieuà penser aux insultes gratuite, mais une avis qui ne colle pas forcement a ce qui est accepté peut tout aussi bien être rangé dans cette case. Reste a savoir les filtres autorisé sur l'IA, car sinon c'est donner à google le pouvoir de choisir ce qu'on peut dire ou ne pas en ligne, ce qui est inquiétant.
  • Bono_BX
    Membre confirmé
    <troll>
    Donald trump : 22%
    Google : 34%
    </troll>

  • Tartare2240
    Membre averti
    Euh... Really ?

  • sergio_is_back
    Expert confirmé
    Qu'en est-il de l'ironie ? Souvent une phrase qui peut sembler complimenter l'interlocuteur tournée de façon
    ironique peut s'avérer beaucoup plus insultante qu'un simple "idiot" placé dans une phrase....

    exemple : Décidément, tu n'est pas la moitié d'un con toi ! (sous entendu tu est bien un con
    à part entière)

    Si j'en crois l'explication cette phrase devrait avoir un score faible avec leur algorithme alors
    que c'est clairement insultant la négation étant détournée de son usage normal.

    Pour détecter des propos déplacés encore faut-il se placer dans le contexte de la discussion et ne
    pas se limiter à quelques mots dans une phrase (même avec une négation devant)

    ....je me demande où est la frontière entre intelligence artificielle et connerie humaine...
  • Geoffrey74
    Membre éclairé
    Bonjour,

    ça semble être fiable quand il s'agit d'évaluer de l'anglais. L'API étant en test, je présume qu'une très très grande partie des essais ont été réalisés en anglais.
    Maintenant qu'il s'ouvre à tous, il devrait pouvoir apprendre les langues et être capable dans peu de temps d'être plus fiable en Français, et autres langues d’ailleurs.

    Je vais suivre ça avec impatience car c'est super un super outils en devenir.
  • Heliogabale
    Nouveau Candidat au Club
    Pourquoi pas.... A défaut d'avoir une intelligence plus.... "naturelle"