Bientôt une alternative au test de Turing pour l'évaluation des IA ?

L'entreprise Nuance sponsorise un concours pour passer le test Winograd

Bientôt une alternative au test de Turing pour l'évaluation des IA ?
L'entreprise Nuance sponsorise un concours pour passer le test Winograd

Le 07 juin 2014, dans le cadre d’un concours organisé par une université britannique, une intelligence artificielle russe baptisée Eugène Gootsman a réussi à se faire passer pour un jeune garçon ukrainien de 13 ans, après 5 minutes d’échanges avec un jury. 33 % des juges ont estimé qu’il s’agissait d’une véritable personne. Puisqu’il avait dépassé les 30 % requis, l’agent conversationnel avait donc passé le Test de Turing. Cet « exploit » a divisé la communauté scientifique qui ne s’accordait pas à reconnaître si, oui ou non, une intelligence artificielle avait effectivement réussi. Conceptuellement, le test de Turing reste valable, mais la communauté scientifique a-t-elle besoin d’une alternative pour mieux jauger ?

La réponse peut-être pendant la 28e édition de la conférence AAAI au Québec (Canada) sponsorisée par Nuance Communication Inc., spécialiste de la reconnaissance vocale, où des développeurs seront invités à mettre sur pied un programme capable de résoudre le test Winograd. Le test a été basé sur les recherches d'Hector Levesque, professeur de sciences informatiques de l’université de Toronto, et accessoirement vainqueur en 2013 du prix d’excellence en recherche IJCAI (une conférence bisannuelle qui récompense des chercheurs en Intelligence Artificielle pour l’excellence de leur carrière).


Au lieu de se baser sur un libre échange comme celui de Turing, il propose un QCM ciblé mettant en exergue des capacités fines de compréhension, relativement aisé pour un humain mais difficile pour une machine.

Voici un exemple : « Le ballon ne rentre pas dans le sac vert parce qu’il est trop petit. Qu’est ce qui est trop petit ? » Le sac bien entendu. Évident ? Pour un être humain, certainement, mais pas pour une Intelligence Artificielle. Répondre à une question qui semble aussi évidente requiert de comprendre le sens de la phrase.

Voici des règles que les schémas de Winograd doivent suivre :

• deux parties sont mentionnées dans une phrase par syntagmes nominaux. Elles peuvent être constituées de deux mâles, deux femelles, deux objets inanimés ou deux groupes de personnes ou d’objets ;
• un pronom ou adjectif possessif est utilisé dans la phrase en référence à l'une des parties, mais il doit également pouvoir être utilisé pour l’autre partie ;
• la question consiste à déterminer le référent du pronom ou adjectif possessif ;
• il y a un mot qui apparaît dans la phrase et éventuellement dans la question qui, une fois changé, change également la réponse tout en permettant à la phrase d’avoir toujours un sens.

Voici un exemple :

« Carine console Elise parce qu’elle était très en colère. Qui a été en colère ? » Réponse Elise.

« Carine a grondé Elise parce qu’elle était très en colère. Qui a grondé ? » Cette fois-ci, la réponse est Carine.

Pour le professeur Levesque, le test de Turing a plusieurs défauts qu’il explique dans le document où il donne des détails pour décrire sa technique de test. Il remet en cause par exemple le postulat de Turing qui consiste à faire mentir une machine en expliquant « qu’une machine devrait être en mesure de nous montrer qu’elle pense sans avoir à prétendre qu’elle est quelqu’un ou qu’elle a des propriétés qu’elle n’a pas. » Par la suite, il explique que pour distinguer l’intelligence humaine de l’intelligence artificielle, la conversation n’est pas le moyen le plus indiqué. Il rappelle notamment le chatbot Eliza, ce programme avec lequel Joseph Weizenbaum était parvenu à faire croire à des patients qu’ils discutaient avec un vrai psychiatre.

Quoiqu’il en soit, le premier Challenge Winograd aura lieu du 23 au 25 mars 2015 à l’Université de Standford, et le gagnant ou l’équipe gagnante empochera le prix de 25 000 dollars.

Source : AAAI

Et vous ?

Que pensez-vous de ce test ?