IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

VioGén : un algorithme a dit à la police espagnole qu'elle était en sécurité. Puis son mari l'a tuée.
VioGén est utilisé par la police pour évaluer la probabilité qu'une victime subisse à nouveau la violence

Le , par Stéphane le calme

659PARTAGES

19  0 
L'Espagne est devenue dépendante de VioGén, un algorithme utilisé par la police pour évaluer la probabilité qu'une victime de violence domestique soit à nouveau exposée à des violences et pour déterminer la protection à lui fournir. Cependant, au vu des conséquences fatales des recommandations de VioGén, une enquête remet en cause son efficacité.

Depuis 2009 en Espagne, les conjoints ou ex-conjoints violents doivent porter un bracelet électronique sur ordre d'un juge. Mais d'autres mesures sont aussi en place, dont le vaste dispositif VioGén, créé en 2007, qui implique l'ensemble des forces de l'ordre.

Tout commence par le dépôt d'une plainte. « La première chose que l’on fait, c’est d’écouter le témoignage de la victime, librement et sans l’interrompre », explique Maria Jesús Cantos en avril 2023, alors qu'elle était encore commissaire en chef responsable de Viogèn.

Pour évaluer les risques, la victime est priée de remplir un questionnaire de 35 points, rempli par les agents lors de l'entretien avec la victime, qui génère ensuite un score de risque allant de « négligeable » à « extrême ». « Elle attend ensuite dans une salle pendant que nous rentrons toutes les données dans ce système », ajoute Maria Jesús Cantos.

Comment les questions ont été élaborées ?

Après que l'Espagne a adopté une loi en 2004 pour lutter contre la violence à l'égard des femmes, le gouvernement a rassemblé des experts en statistiques, en psychologie et dans d'autres domaines pour trouver une réponse. Leur objectif était de créer un modèle statistique permettant d'identifier les femmes les plus exposées à la violence et d'élaborer une réponse standardisée pour les protéger.

« Il s'agirait d'un nouveau guide pour l'évaluation des risques liés à la violence de genre », a déclaré Antonio Pueyo, professeur de psychologie à l'université de Barcelone, qui s'est ensuite joint à l'équipe.

L'équipe a adopté une approche similaire à celle utilisée par les compagnies d'assurance et les banques pour prédire la probabilité d'événements futurs, tels que les incendies de maison ou les fluctuations monétaires. Elle a étudié les statistiques nationales de la criminalité, les dossiers de la police et les travaux de chercheurs britanniques et canadiens pour trouver des indicateurs qui semblaient être en corrélation avec la violence de genre. La toxicomanie, la perte d'emploi et l'incertitude économique figuraient en bonne place sur la liste.

Ils ont ensuite élaboré un questionnaire à l'intention des victimes afin de pouvoir comparer leurs réponses avec les données historiques. La police remplissait les réponses après avoir interrogé une victime, examiné des preuves documentaires, parlé à des témoins et étudié d'autres informations provenant d'agences gouvernementales. Les réponses à certaines questions ont plus de poids que d'autres, par exemple si l'agresseur a des tendances suicidaires ou montre des signes de jalousie.

Le système attribue un score à chaque victime : risque négligeable, risque faible, risque moyen, risque élevé ou risque extrême. Un score élevé entraîne des patrouilles de police et le suivi des mouvements de l'agresseur. Dans les cas extrêmes, la police assurerait une surveillance 24 heures sur 24. Les personnes ayant obtenu un score moins élevé recevraient moins de ressources, principalement des appels de suivi.


L'algorithme « décharge en quelque sorte la police de toute responsabilité dans l'évaluation de la situation »

Le logiciel est tellement intégré dans l'application de la loi qu'il est difficile de savoir où s'arrêtent ses recommandations et où commence la prise de décision humaine. Dans le meilleur des cas, le système a aidé la police à protéger les femmes vulnérables et, dans l'ensemble, a réduit le nombre d'agressions répétées dans les affaires de violence domestique. Mais la dépendance à l'égard de VioGén a également eu pour conséquence que les victimes, dont les niveaux de risque sont mal calculés, sont à nouveau agressées, ce qui peut parfois avoir des conséquences fatales.

L'Espagne compte aujourd'hui 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles - 83 % - étant classées comme courant peu de risques d'être à nouveau agressées par leur agresseur. Pourtant, environ 8 % des femmes que l'algorithme a classées comme présentant un risque négligeable et 14 % comme présentant un risque faible ont déclaré avoir été à nouveau agressées, selon le ministère espagnol de l'intérieur, qui supervise le système.

Selon les chiffres du gouvernement, au moins 247 femmes ont également été tuées par leur partenaire actuel ou ancien depuis 2007 après avoir été évaluées par VioGén. Bien que cela ne représente qu'une infime partie des cas de violence sexiste, cela met en évidence les failles de l'algorithme. Le New York Times a constaté que dans le cadre d'un examen judiciaire de 98 de ces homicides, 55 des femmes tuées avaient été classées par VioGén comme présentant un risque négligeable ou faible de récidive.

La police espagnole est formée pour rejeter les recommandations de VioGén en fonction des preuves, mais elle accepte les scores de risque dans environ 95 % des cas, selon les responsables. Les juges peuvent également utiliser les résultats lorsqu'ils examinent les demandes d'ordonnances restrictives et d'autres mesures de protection.

« Les femmes passent à travers les mailles du filet », a déclaré Susana Pavlou, directrice de l'Institut méditerranéen d'études sur le genre, coauteur d'un rapport de l'Union européenne sur VioGén et d'autres efforts de la police pour lutter contre la violence à l'égard des femmes. L'algorithme « décharge en quelque sorte la police de toute responsabilité dans l'évaluation de la situation et de ce dont la victime peut avoir besoin ».

L'Espagne illustre la manière dont les gouvernements se tournent vers les algorithmes pour prendre des décisions sociétales, une tendance mondiale qui devrait s'accentuer avec l'essor de l'intelligence artificielle. Aux États-Unis, les algorithmes aident à déterminer les peines de prison, à établir des patrouilles de police et à identifier les enfants susceptibles d'être victimes d'abus. Aux Pays-Bas et en Grande-Bretagne, les autorités ont expérimenté des algorithmes pour prédire qui peut devenir criminel et pour identifier les personnes susceptibles de commettre des fraudes à l'aide sociale. La police canadienne se sert de plus en plus d'algorithmes pour prédire où les crimes pourraient se produire, qui pourraient disparaître, et pour les aider à déterminer où ils devraient patrouiller, malgré les préoccupations fondamentales en matière de droits de l'homme, selon le rapport Surveiller et prédire : une analyse des droits de l'homme de l'utilisation des algorithmes prédictifs par la police au Canada

Peu de ces programmes ont des conséquences aussi vitales que VioGén. Mais les victimes interrogées par le Times étaient rarement au courant du rôle joué par l'algorithme dans leur cas. Le gouvernement n'a pas non plus publié de données complètes sur l'efficacité du système et a refusé de mettre l'algorithme à la disposition d'un audit externe.

La technologie a été créé pour apporter son aide aux forces de l'ordre de manière impartiale

VioGén a été créé pour être un outil impartial permettant à la police, dont les ressources sont limitées, d'identifier et de protéger les femmes qui risquent le plus d'être à nouveau agressées. La technologie devait permettre de gagner en efficacité en aidant la police à donner la priorité aux cas les plus urgents, tout en se concentrant moins sur les cas considérés par l'algorithme comme présentant un risque plus faible. Les victimes classées comme présentant un risque élevé bénéficient d'une protection accrue, notamment de patrouilles régulières à leur domicile, d'un accès à un centre d'hébergement et d'une surveillance policière des déplacements de leur agresseur. Celles dont le score est plus faible bénéficient d'un soutien moins important.

Dans une déclaration, le ministère de l'intérieur a défendu VioGén et a déclaré que le gouvernement était « le premier à faire son autocritique » lorsque des erreurs se produisaient. Il a déclaré que les homicides étaient si rares qu'il était difficile de les prédire avec précision, mais a ajouté qu'il s'agissait d'un « fait incontestable » que VioGén avait contribué à réduire la violence à l'égard des femmes.

Depuis 2007, environ 0,03 % des 814 000 victimes de violence de genre signalées en Espagne ont été tuées après avoir été évaluées par VioGén, a indiqué le ministère. Au cours de cette période, les agressions répétées sont passées de 40 % à environ 15 % de tous les cas de violence à l'égard des femmes, selon les chiffres du gouvernement.

« Si ce n'était pas le cas, nous aurions davantage d'homicides et de violences sexistes », a déclaré Juan José López Ossorio, un psychologue qui a contribué à la création de VioGén et qui travaille pour le ministère de l'intérieur.


Pourtant, les victimes et leurs familles sont confrontées aux conséquences des erreurs de VioGén

En 2016, Stefany Escarraman, une jeune femme de 26 ans vivant près de Séville, s'est rendue à la police après avoir été violemment agressée par son mari. Selon le rapport, il l'avait frappée au visage et étranglée. Après une audition d'environ cinq heures avec la police, les informations recueillies ont été entrées dans le système VioGén. L'algorithme a alors évalué le risque de récidive comme « négligeable ».

Le lendemain, avec des signes physiques de l'agression (elle avait un œil au beurre noir et gonflé), Stefany s'est présentée au tribunal pour demander une ordonnance restrictive contre son mari. Le juge, se basant en partie sur le score de risque négligeable attribué par VioGén et sur l'absence d'antécédents criminels du mari, a refusé d'accorder l'ordonnance restrictive.

Tragiquement, environ un mois après cet épisode, le mari de Stefany l'a poignardée à plusieurs reprises au cœur, en présence de leurs enfants. Elle est décédée des suites de ses blessures. « Si elle avait reçu de l’aide, elle serait peut-être toujours en vie », a déploré Williams Escarraman, le frère de Stefany, auprès du New York Times.

Les cas de Lobna Hemid et Stefany Escarraman ne sont pas isolés. Sur une liste de 98 homicides examinés par le New York Times, 55 concernaient des femmes que VioGén avait classées comme étant à risque « négligeable » ou « faible ».

Cela n'a pas empêché la Ministre de l'égalité, Ana Redondo, de souligner ce mardi la nécessité d'intégrer toutes les municipalités dans le système VioGén, ainsi que de coordonner les policiers locaux : « Nous devons intégrer toutes les municipalités dans ce système (VioGén), pour que les policiers locaux soient également coordonnés. Il y a du travail à faire, nous avons déjà fait beaucoup. Et l'avenir est à nous, parce que l'avenir est de bannir cette violence sauvage, cette violence qui implique la plus grande violation des droits de l'homme de notre pays », a déclaré Redondo avant de signer avec la Fédération espagnole des municipalités et des provinces (FEMP), une déclaration de collaboration pour aborder de manière « efficace » la lutte contre la violence sexiste.

Conclusion

VioGén est un outil précieux dans la lutte contre la violence conjugale, mais il ne peut pas fonctionner seul. Une approche holistique, combinant technologie, soutien social et sensibilisation, est essentielle pour protéger les victimes. En tant que société, nous devons continuer à améliorer ces systèmes pour sauver des vies.

Sources : ministre de l'égalité, ministère de l'intérieur, El Confidential, NYT, Maria Jésus

Et vous ?

La technologie peut-elle vraiment prévenir la violence conjugale ? Pensez-vous que les algorithmes comme VioGén sont efficaces pour protéger les victimes de violence domestique ? Quelles autres approches technologiques pourraient être envisagées ?
L’importance du contexte social : est-il important, selon vous, de prendre en compte le contexte social et familial lors de l’évaluation des risques ? Comment les facteurs sociaux peuvent-ils influencer la sécurité des victimes ?
Les limites des algorithmes : discutez des limites de VioGén et des autres algorithmes similaires. Quelles améliorations pourraient être apportées pour renforcer leur efficacité ?
La responsabilité des autorités : comment pouvons-nous garantir que les évaluations de risques sont correctement utilisées ?
De façon plus générale, que pensez-vous des algorithmes prédictifs ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de bmayesky
Membre régulier https://www.developpez.com
Le 20/07/2024 à 20:47
Ces gouvernants espagnols ne sont pas responsables des statistiques ni du logiciel, ils sont responsables de son utilisation. Ils sont responsables de chaque erreur du logiciel, notamment devant les évidences de certains cas. Pire encore, ils sont responsable d'utiliser le logiciel pour diminuer le nombre d'intervention policière au lieu de l'utiliser pour sauver des femmes.

Et ils en sont complètement responsable parce que il est connu des lycéens que les statistiques sont valables à une infinité de tirages et que ce mêmes statistiques sont totalement incapables de déterminer le prochain tirage, c'est à dire la prochaine femme qui va se faire tuer, que le logiciel dise qu'il y a risque ou que le logiciel dise qu'il n'y a pas de risque.

Pourquoi tant de haine ? Parce que le choix le plus malfaisant du gouvernement espagnol est d'utiliser sciemment ce logiciel pour introduire un biais dans la décision des policiers et diminuer ses frais en sachant pertinemment qu'il va provoquer des morts.
Pourquoi ? Tout simplement, parce que ce logiciel pouvait être utilisé pour protéger et uniquement protéger les femmes.
Comment ? En paramétrant le logiciel pour qu'il signale uniquement les cas de risques très élevés. Ainsi il aurait permis au policier qui prend la décision finale de remettre son jugement en cause dans les cas qu'il n'aurait pas détecté et alors sauver des femmes. Le choix d'ouvrir ce logiciel pour qu'il puisse indiquer au policier que son bon sens doit être ignoré sans quoi il devra s'en expliquer est une incitation à minimiser les risques réels encouru.

En plus, n'importe quel informaticien sait qu'un programme ne fait que ce qu'il est censé faire et ne peut rien faire d'autre. Et nous savons tous que la vie ne rentre pas dans les cases à cocher d'un questionnaire. Et donc toutes les femmes qui ne rentrent pas dans les critères établis par le gouvernement espagnol (avec tous les biais de la terre, l'obsolescence des critères selon l'évolution de la société, l 'absence totale de psychologie des victimes, ...) sont condamnées à être considérées comme à risque négligeables et ne pas être protégées par leur gouvernement et leur police. Si ce ne sont pas là des meurtres prémédités par ceux qui ont décidé de mettre en place ce programme, je ne sais pas ce que c'est.
8  0 
Avatar de eddy72
Membre régulier https://www.developpez.com
Le 21/07/2024 à 12:44
C'est pas nous, c'est l'ordinateur !!!
Classique non ?
6  0 
Avatar de pierre-y
Membre chevronné https://www.developpez.com
Le 21/07/2024 à 14:18
"Non madame vous n'êtes pas en train de vous faite pas violer, l'algo est formel la dessus alors arrêté de crier merci". Dernièrement une femme c'est fait condamné en France pour avoir utilisé de la lacrymo contre un gas (un migrant) qui voulait la violer justement... est ce que c'est plus intelligent que le debut de mon propos?
5  2 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 22/07/2024 à 9:04
Citation Envoyé par Stéphane le calme Voir le message
Pour évaluer les risques, la victime est priée de remplir un questionnaire de 35 points, rempli par les agents lors de l'entretien avec la victime, qui génère ensuite un score de risque allant de « négligeable » à « extrême »
[...]
Après que l'Espagne a adopté une loi en 2004 pour lutter contre la violence à l'égard des femmes, le gouvernement a rassemblé des experts en statistiques, en psychologie et dans d'autres domaines pour trouver une réponse. Leur objectif était de créer un modèle statistique permettant d'identifier les femmes les plus exposées à la violence et d'élaborer une réponse standardisée pour les protéger.
Il y a une chose qui m'échappe, la police écoute une potentielle victime pendant plusieurs minutes "librement et sans l’interrompre" puis donne un questionnaire pour prendre de conclusions sur base d'un algorithme?
Mais les minutes libres et sans interruption sont elles finalement prises en compte. Un paquet de choses doivent être perçues qu'il est potentiellement difficile de factualiser mais qui reste des indice des risques d'aggravation de la situation.

Quand les gens comprendront que quand on parle de statistique on parle d'un modèle.
Modèle qui a potentiellement des scénarios où il n'est pas représentatif voir où il l'est. Si le modèle dit "la femme à 90% de chances d'être dans une situation à risque négligeable" ce qu'il faut aussi comprendre est qu'elle a "10% de chance d'être dans un situation à risque significatif".
D'autant plus que dans le cas de violence conjugale la paramètre principal n'est pas la victime mais l'agresseur qui n'est pas interrogé.
Le système attribue un score à chaque victime : risque négligeable, risque faible, risque moyen, risque élevé ou risque extrême. Un score élevé entraîne des patrouilles de police et le suivi des mouvements de l'agresseur. Dans les cas extrêmes, la police assurerait une surveillance 24 heures sur 24. Les personnes ayant obtenu un score moins élevé recevraient moins de ressources, principalement des appels de suivi.
C'est intéressant que tout tourne autour de la victime.
On enquête pas sur l'agresseur?
On évalue pas sa dangerosité?
L'Espagne compte aujourd'hui 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles - 83 % - étant classées comme courant peu de risques d'être à nouveau agressées par leur agresseur. Pourtant, environ 8 % des femmes que l'algorithme a classées comme présentant un risque négligeable et 14 % comme présentant un risque faible ont déclaré avoir été à nouveau agressées, selon le ministère espagnol de l'intérieur, qui supervise le système.
C'est à dire qu'il est factualisé que le logiciel n'est pas si fiable.
Que fait on de ces 8% et 14%? On se contente de constater l'erreur et de s'excuser quand elles reviennent avec un cocard (au mieux)?
VioGén a été créé pour être un outil impartial permettant à la police, dont les ressources sont limitées
C'est normal que les ressources soient limitée, mais sont elles suffisantes pour gérer ces situations?
Si la réponse est non alors ce n'est ni le logiciel ni les agents qu'il faut attaquer mais le "système" qui ne met pas les moyens nécessaires.
Parce que s'il manque de personnel alors les priorités doivent être gérées et les "sacrifices" inévitables.
La technologie devait permettre de gagner en efficacité en aidant la police à donner la priorité aux cas les plus urgents
Quand on parle de vies humaines l'efficacité ne devrait pas être de priorisé les cas les plus urgents mais d'accélérer la capacité de réaction.
Pas pour décider qui doit être protégé et qui ne doit pas l'être.
Dans une déclaration, le ministère de l'intérieur a défendu VioGén et a déclaré que le gouvernement était « le premier à faire son autocritique » lorsque des erreurs se produisaient. Il a déclaré que les homicides étaient si rares qu'il était difficile de les prédire avec précision, mais a ajouté qu'il s'agissait d'un « fait incontestable » que VioGén avait contribué à réduire la violence à l'égard des femmes.
Et c'est là toute l'inefficacité de l'IA aujourd'hui, elle ne sait pas gérer les exceptions, les évènements rares.
Pourtant quand on évalue un risque on utilise deux paramètres :
la probabilité, dont les cas critiques sont bien gérés par l'IA
La gravité, dont les cas critiques semblent mal gérés par l'IA actuelle.
(On peut y ajouter la maitrise/prévisibilité/capacité de réaction)
Depuis 2007, environ 0,03 % des 814 000 victimes de violence de genre signalées en Espagne ont été tuées après avoir été évaluées par VioGén, a indiqué le ministère. Au cours de cette période, les agressions répétées sont passées de 40 % à environ 15 % de tous les cas de violence à l'égard des femmes, selon les chiffres du gouvernement.
Comment noyer le poisson?
Oui le logiciel est efficace pour les "cas standard", et c'est bien.
Mais a-t-il diminué les cas graves, qui en cas de probabilité particulièrement faible peut se calculer différemment qu'en pourcentage, pourmillionnage etc par exemple en durée entre les évènements.
La technologie peut-elle vraiment prévenir la violence conjugale ? Pensez-vous que les algorithmes comme VioGén sont efficaces pour protéger les victimes de violence domestique ? Quelles autres approches technologiques pourraient être envisagées ?
Oui, la technologie traite visiblement assez facilement les cas communs (qui sont connus, documentés, etc).
Mais elle gère beaucoup moins facilement les exceptions.
Et à un moment il faut sortir de la technologie pour y mettre de l'humain et je parle autant de capacité d'écoute de la police que de temps disponibles des agents.
L’importance du contexte social : est-il important, selon vous, de prendre en compte le contexte social et familial lors de l’évaluation des risques ? Comment les facteurs sociaux peuvent-ils influencer la sécurité des victimes ?
Comment ne pas les prendre en compte?
Si la victime est socialement dépendante (finance, handicap, isolée) de son agresseur alors la situation est d'autant plus à risque.
Les limites des algorithmes : discutez des limites de VioGén et des autres algorithmes similaires. Quelles améliorations pourraient être apportées pour renforcer leur efficacité ?
Pour moi la question n°1 n'est pas d'améliorer les limites mais de les connaitre, de les accepter et de les compenser. Une fois qu'on a bouché les trous on peut envisager d'essayer de les réduire.
Ces trous riment parfois avec des morts. On ne peut pas se contenter de solutions à long terme...
La responsabilité des autorités : comment pouvons-nous garantir que les évaluations de risques sont correctement utilisées ?
En ayant suffisamment de gens pour les traiter.
En formant les gens qui doivent les traiter?
L'humain doit toujours rester au centre.
De façon plus générale, que pensez-vous des algorithmes prédictifs ?
Qu'ils sont efficaces pour le commun.
Qu'ils sont nuls pour les exceptions, les évènements rares etc
Et que si nous parions trop sur eux alors nous diminuerons les marges de sécurités pour optimiser le nominal mais les que exceptions seront moins couvertes et augmenterons en fréquence et en gravité. Ce qui rime avec plus de morts.
Nous allons diminuer les hôpitaux et augmenter les morques. Est ce vraiment ce que nous voulons pour notre société?
2  0 
Avatar de chrtophe
Responsable Systèmes https://www.developpez.com
Le 24/07/2024 à 17:26
[IRONIE]
Manque plus que le questionnaire de satisfaction
[/IRONIE]
1  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 22/07/2024 à 9:50
Citation Envoyé par pierre-y Voir le message
"Non madame vous n'êtes pas en train de vous faite pas violer, l'algo est formel la dessus alors arrêté de crier merci". Dernièrement une femme c'est fait condamné en France pour avoir utilisé de la lacrymo contre un gas (un migrant) qui voulait la violer justement... est ce que c'est plus intelligent que le debut de mon propos?
Quand on tient des propos de ce genre, la moindre des choses c'est de les sourcer.
2  2