AlphaStar, la nouvelle IA de DeepMind, a écrasé des joueurs pro de Starcraft II,
Un jeu vidéo conçu pour défier l'intellect humain

Le , par Bill Fassinou

200PARTAGES

16  0 
L’IA, c’est le sujet qu’on ne présente plus. Son intrusion dans nos vies quotidiennes et cela dans tous les domaines ou presque choque certains. Des futuristes y voient une menace pour la démocratie telle que nous l’a connaissons, certains craignent que tous les emplois de demain ne soient destinés qu’aux machines intelligentes, et d’autres nous mettent en garde contre une époque où l’intelligence artificielle pourra s’améliorer d’elle-même, dépassant ainsi l’homme. Cependant, malgré toutes ces critiques dont elle est victime, les entreprises qui développent cette technologie acclament chaque succès et progrès qu’elles accomplissent.

L’intelligence artificielle semble de jour en jour prête à relever tous les défis que l’homme aura à lui lancer. C’est le cas peut-être de AlphaStar, une IA conçue par DeepMind, une filiale de Google pour tenter de rivaliser avec des professionnels de jeux tels que StarCraft II. DeepMind est une entreprise britannique spécialisée dans l'intelligence artificielle fondée en 2010. Elle est rachetée le 26 janvier 2014 par Google pour plus de 628 millions de dollars américains. L’objectif de DeepMind est de résoudre l'intelligence. Pour atteindre ce but, l'entreprise essaie de combiner les meilleures techniques de l'apprentissage automatique et des neurosciences des systèmes pour construire de puissants algorithmes d'apprentissage généraliste.

L'entreprise souhaite non seulement doter les machines d'une intelligence artificielle performante, mais aussi comprendre le fonctionnement du cerveau humain. Pour les entreprises qui développent des outils dotés d’intelligence artificielle, il faut trouver la meilleure manière de rendre sa solution plus performante. Pour cela, la complexité retrouvée dans les jeux de stratégie en temps réel (RTS) constitue un atout important comme l’explique DeepMind sur son site Web.


« Les jeux sont utilisés depuis des décennies comme un moyen important de tester et évaluer les performances des systèmes d’intelligence artificielle. Au fur et à mesure que les capacités de l’IA augmentent, la communauté des chercheurs a recherché des jeux de plus en plus complexes qui capturent différents éléments d’intelligence nécessaires à la résolution de problèmes scientifiques et réels. Ces dernières années, StarCraft est considéré comme l'un des jeux de stratégie en temps réel les plus difficiles et l'un des jeux les plus joués de tous les temps. Il s'est imposé par consensus comme un “grand défi” pour la recherche sur l'IA ».

AlphaStar répond aux mêmes critères de construction que les précédentes solutions de DeepMind. Il base son apprentissage essentiellement sur un réseau de neurones qui reçoit des données d'entrée de l'interface de jeu brute (une liste d'unités et de leurs propriétés) et génère une séquence d'instructions constituant une action dans le jeu. Des informations plus utiles et plus détaillées sur sa conception et son mécanisme de fonctionnement sont présentées par DeepMind sur son site Web. Cependant, AlphaStar a, peut-on dire, réussi la mission qui est la sienne à savoir battre des joueurs professionnels du très célèbre StarCraft II.

Il est donc devenu la première intelligence artificielle à réaliser cet exploit. Connaissez-vous ce jeu de stratégie publié pour la première fois sur PC en 2010 ? Sinon, pour un petit rappel, StarCraft II est créé par Blizzard Entertainment. Il s'inscrit dans un univers fictif de science-fiction et propose un gameplay riche et multi-couches conçu pour défier l'intellect humain. A ce jeu, l’IA de DeepMind a battu à plusieurs reprises, dans une série de matchs, des joueurs professionnels tels que Grzegorz Komincs et Dario Wünsch classés respectivement 13e et 42e sur la liste des joueurs professionnels dans le monde sur un référentiel centralisé des wikis de Liquipedia.


DeepMind a tenu à expliquer que le choix s’est porté sur ce jeu compte tenu de sa complexité et que son IA a obtenu ce résultat notamment grâce son réseau de neurones qui lui confère les capacités d’un apprentissage supervisé et d’un apprentissage par renforcement. En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome (robot, etc.), à apprendre à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant.

En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative. L'agent cherche au travers d'expériences itérées, un comportement décisionnel (appelé stratégie ou politique, et qui est une fonction associant à l'état courant l'action à exécuter) optimal, en ce sens qu'il maximise la somme des récompenses au cours du temps. Pour finir son argumentaire, DeepMind a indiqué que l’objectif premier d’un tel travail n’est pas simplement de réussir à battre des humains dans un jeu de stratégie, mais de mesurer à quel point les techniques de conception et les algorithmes de l’intelligence artificielle ont évolué. Grâce à cela, l’entreprise estime qu’à l’avenir, il sera possible de concevoir des agents d’IA capables d’exécuter des tâches intelligentes comme un être humain ainsi que d’autres tâches selon l’environnement dans lequel elle se trouvera.

Rappelons qu'en 2016, après AlphaGo, l’IA de Google DeepMind qui avait terrassé Lee Sedol, l’un des meilleurs joueurs de Go au monde, la filiale de Google, voulait déjà tester ses recherches en intelligence artificielle dans des domaines plus complexes, et c’est celui des jeux vidéo qui a été choisi. Le 4 novembre, lors de l’événement BlizzCon 2016 du studio Blizzard Entertainment, DeepMind avait annoncé une collaboration avec la société de développement de jeux vidéo basée en Californie pour ouvrir le jeu StarCraft II aux chercheurs en IA et en apprentissage automatique partout dans le monde.

En d’autres termes, StarCraft II était devenu le nouveau domaine dans lequel DeepMind avait décidé de tester ses recherches en intelligence artificielle. Les compétences acquises dans cet environnement plus complexe pourront ensuite être transférées dans le monde réel. En effet, « StarCraft est un environnement de test intéressant pour la recherche actuelle en IA, car il fournit un pont utile pour la complexité du monde réel », explique Google DeepMind. Et d’ajouter que : « les compétences nécessaires à un agent pour progresser dans l'environnement et bien jouer à StarCraft pourraient finalement être transférées à des tâches réelles ».

Sources : DeepMind, Liquipedia

Et vous ?

Qu'en pensez-vous ?

Voir aussi

L'intelligence artificielle menace-t-elle la démocratie dans le monde ? Oui, selon un conseiller principal à la Commission européenne

Après le jeu de Go, Google DeepMind veut tester une intelligence artificielle dans StarCraft II, un jeu vidéo de stratégie en temps réel

Google absorbe l'unité de santé de DeepMind pour transformer son application mobile Streams en assistant boosté à l'IA pour infirmières et médecins

70 % des projets d'IA dans le commerce numérique sont couronnés de succès d'après un sondage réalisé par Gartner

Des chercheurs du MIT créent la première intelligence artificielle psychopathe pour illustrer le problème de biais des données nourries aux IA

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de codec_abc
Membre confirmé https://www.developpez.com
Le 26/01/2019 à 13:16
J'ai regardé les parties et il faut encore relativiser sur les capacités de la machine. Pour faire simple, sur Starcraft II un joueur compétent doit maitriser 2 aspects:

Le "macro game": C'est la capacité à gérer ses workers, développer ses bases, scouter l'ennemie, analyser la situation et prendre des décisions en fonctions.
La "micro game": C'est la capacité à gérer les unités par petits groupes (voire de manière individuelle) lors des combats pour maximiser leur efficacité. Par exemple, lors d'un combat si un missile arrive dans vos unités et que vous n'avez pas le temps de l’éviter: Vous avez tout intérêt a faire reculer toutes les unités immédiatement. Puis vous prenez une unité, idéalement peu couteuse, pour l'envoyer dans le missile pour la sacrifier et ne pas prendre de dégâts sur les autres.

Pour avoir regardé certaines games, l'IA de DeepMind a une macro game correcte (bien qu'en dessous de ce que font les joueurs humains) et une micro game largement meilleur que tout humain. Et cela se prouve par le nombre d'actions par minutes (APM). C'est une moyenne flottante qui décrit le nombre d'actions qu'un joueur fait sur un intervalle de temps donné. L'humain étant physiquement limité, les meilleurs pro montent (souvent lors des combats) autour de 600-800 APMs dans les situations les plus tendues. DeepMind grâce à ses capacités de machine est arrivé jusqu'à 1500 APMs. De plus, il faut voir que sur l'intégralité des actions exécutés par un humain il en aura certaines qui ne seront pas efficaces (clics ratés, mauvaise touche, etc...) la ou l'IA de DeepMind fera exactement ce qu'elle veut.

Bref, l'IA de DeepMind a montré un comportement intéressant mais a gagné grâce à ses habilitées sur-humaines (temps de réaction, précision, exécution parfaite et immédiate, etc...) et non pas grâce à son intelligence.
7  0 
Avatar de LittleWhite
Responsable 2D/3D/Jeux https://www.developpez.com
Le 04/02/2019 à 17:54
Bonjour,

Je souhaiterai répondre à fredoche.
Il est possible de considérer les jeux sous la forme suivante : un jeu vidéo n'est qu'une problématique présentée au joueur, problématique qu'il doit résoudre pour accéder à une récompense (la fin du jeu, souvent).
Dans Mario, le joueur doit aller à droite (fin du niveau). Pour cela il peut sauter et courir. Il faut faire preuve d'une certaine capacité cognitive (synchronisation des yeux et mains, reflex, mémoire...) pour réussir.
Dans Starcraft, on démarre avec quatre récolteurs. Il faut écraser son ennemi. Du coup, il faut monter une armée (une armée efficace pour battre l'ennemi et non pas juste une "grosse" armée), lui donner des ordres précis et pointus, gérer ses ressources et son extension. Bref, cela demande (d'après moi) des capacités plus élevés que Mario.

Et pour moi, Starcraft est une évolution du jeu d'échec. Un jeu d'échec sur une carte plus grande, avec des ressources à gérer, de la production à gérer, mais dans l'idée, cela reste de la stratégie et cela reste qu'il faut battre l'adversaire (en détruisant ses pièces).

Et puis, on a déjà mis les IA sur des sujets "plus utiles d'après vous" : http://www.developpez.com/actu/23971...lon-une-etude/ .
5  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 04/02/2019 à 19:48
Citation Envoyé par fredoche Voir le message
Je trouve ça tellement limité cette notion d'intelligence dans ces contextes, aussi artificielle soit-elle.
Il faut savoir que le terme "intelligence" en IA est un buzzword marketing. Dans la quasi totalité des cas, on ne cherche pas à faire une machine intelligente, mais une machine experte dans une tâche bien précise. Si tu écoute ceux qui bossent directement sur ces technos, tu entendras parler de performance, efficience, efficacité, etc. mais quasiment jamais d'intelligence.
4  1 
Avatar de melka one
Membre éprouvé https://www.developpez.com
Le 26/01/2019 à 13:23
un jour on verra un article avec un titre du genre l'IA l'arnaque publicitaire du moment.
3  1 
Avatar de Uther
Expert éminent sénior https://www.developpez.com
Le 26/01/2019 à 13:31
Citation Envoyé par codec_abc Voir le message
L'humain étant physiquement limité, les meilleurs pro montent (souvent lors des combats) autour de 600-800 APMs dans les situations les plus tendues. DeepMind grâce à ses capacités de machine est arrivé jusqu'à 1500 APMs. De plus, il faut voir que sur l'intégralité des actions exécutés par un humain il en aura certaines qui ne seront pas efficaces (clics ratés, mauvaise touche, etc...) la ou l'IA de DeepMind fera exactement ce qu'elle veut.
Tu es sur de ce que tu avances ?
Autant je suis d'accord qu’au niveau efficacité l'IA n'étant pas l'imité par l'IHM, elle a probablement 100% de ses actions efficace. Par contre j'avais lu que le nombre d'APM était bien en dessous d'un joueur humain pro.
3  0 
Avatar de codec_abc
Membre confirmé https://www.developpez.com
Le 26/01/2019 à 19:00
Citation Envoyé par Uther Voir le message
Tu es sur de ce que tu avances ?
Autant je suis d'accord qu’au niveau efficacité l'IA n'étant pas l'imité par l'IHM, elle a probablement 100% de ses actions efficace. Par contre j'avais lu que le nombre d'APM était bien en dessous d'un joueur humain pro.
Elle est en dessous en moyenne. Sur les moments clés elle monte bien à

D'ailleurs, il y a un passage ou un joueur pro dit "It's micro [NDLR:AlphaStar] starts to get ridiculous" ce qui veut dire que son micro management d'unités est tellement bon que ça en devient ridicule/risible.
3  0 
Avatar de gallima
Membre habitué https://www.developpez.com
Le 04/02/2019 à 22:25
Est ce qu'il y a eu triche de la part de AlphaStar/Deepmind ?

1) Vision de toute la carte : C'est un avantage déterminant énorme.
2) Des piques à 1200action par minutes (APM) juste aux moments critiques, loin des 400 des humains. Et encore pour un humain à 400 il y a beaucoup de spams, moins du tiers sont des actions qui changent l'état du jeu; là où Deepmind fait des déplacements simultanés d'unité. Ce n'est pas le fait d'être à trois endroits en même temps qui pose un problème d'équité, c'est le fait de donner des ordres très précis de déplacement et de tir différentiés à chaque unité dans une grosse formation à 10 unités par secondes pendant les 3 secondes où se fait le match. Cette micro-maitrise des déplacements et attaques permet à l'IA de s'orienter vers des unités et style de jeu impraticable pour un humain. Ce n’est pas équitable.
3) Calcul au point de vie près de la survie des unités pour les déplacements: Alphastar ne manipule pas la sourie, il accède directement aux unités via son API, une grosse difficulté en moins; le clavier c'est moins gênant, mais dans l'absolu le problème est le même. Ce n’est pas équitable.
4) Une seul carte pour jouer ? Sérieusement il y en a plus de 200 dans le jeu. Même si l'humain sait quelle carte va sortir, on sait très bien qu'il ne peut pas réduire sa cervelle pour qu'elle tourne plus vite sachant la carte. Un ordinateur peut le faire par contre. Ce n’est pas juste.
5) Que de match Protoss contre Protoss ? Pourquoi ne pas autoriser les Terran et Zerg ? La diversité fait partie de la complexité. Ca perd de l’intérêt, honnêtement j'ai zappé des morceaux à cause de ça. Au moins avec Alphago cela ressemblait au go.
6) Pas un seul rush/cheese dans les stratégies de Mana, 10 matchs d'accords, mais 10 matchs copiés/collés. Pourquoi ? Un 'pro' ne ferait jamais ça. Perso si la plan A ne marche pas je fais le plan B, et les 'pro' on plein de plans. Qui a payé qui ? Que dit le contrat ?
7) Mana est un joueur pro, mais pas dans les 10 premiers. Dans le haut de la pyramide, le niveau monte de plusieurs crans, 500 points de MRR entre Mana(n°19) et Serral(n° 1); pas de sélection en tournoi majeur en 2018 : https://liquipedia.net/starcraft2/MaNa
8) A l'origine Deepmind avait annoncé qu'ils allaient créer un système qui apprendrait tout le jeu par l'écran la sourie et le clavier... Clairement l'objectif a été vite oublié ; ils ont entré les concepts du jeu dans l'IA, 'pylône', 'production', 'déplacement' etc... Les informations disponibles sont très ambigües sur l'intrusion humaine dans la programmation d'Alphastar. L'abstraction requise pour comprendre le jeu n'a pas été maitrisée, demain si le jeu évolue (comme il le fait souvent) Alphastar ne va pas s'adapter tout seul. Les capacités apprises par Alphastar ne sont vraisemblablement pas transposables à d'autres jeux de stratégies. Pour rappel, l'IA d'origine du jeu même en 'élite' ne ralentit pas du tout le fonctionnement du jeu et fonctionne sur un Hierchical Task Network qui pourrait aussi être amélioré; mais l'éditeur doit vouloir permet aux joueurs occasionnels de gagner. Si demain Alphastar doit jouer à Dune2, il faudra ré-encoder le jeu dans Dune2star, un humain maitriserait la différence en 2 ou 3 parties.

Dans le 11ieme matche, l'avantage numéro 1 est retiré et Alphastar/Deepmind fait n'importe quoi dès la première attaque par-derrière (pourtant très classique).

Si Alphastar est si forte alors pourquoi ne pas la lancer sur le ladder, je suis certain que beaucoup de joueurs lui feront un bon accueil.
Pour Deepmind, battre Mana lors d'un show truqué, c'est bien pour se faire un dernier coup de pub, avant de laisser tomber ce projet trop compliqué qui ne rapporte pas d'argent.
3  2 
Avatar de Uther
Expert éminent sénior https://www.developpez.com
Le 30/01/2019 à 14:16
Se limiter au rush zergling ultra-rapide, ça marche bien contre les débutants, mais ça ne peut pas marcher sur des professionnels. Au contraire, une fois que tu as appris a gérer ça, et que tu t'y attend, c'est une victoire facile.

Ce genre de technique d'attaque rapide (on appelle ça un cheese) peut éventuellement être utilisé à haut niveau pour surprendre un adversaire imprudent. Mais un humain, comme une IA, qui jouerait avec une seule stratégie est plutôt facile a contrer.

En l’occurrence, l'IA a joué des parties plutôt classiques avec des valeurs d'armées moyennes.
2  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 04/02/2019 à 22:42
Au cas où tu n'aurais pas suivi, ce challenge arrive au milieu du projet. AlphaStar n'est pas terminé.

Tout comme pour le Go ils ont d'abord joué en 2015 contre un bon joueur accessible (européen) avec une version capable de bien jouer. Puis en 2016 ils ont joué contre le meilleur joueur du monde avec une version améliorée. Puis ils ont laissé tourner AlphaGo encore amélioré sur des serveurs de Go avant de l'arrêter. Au final, AlphaGo aura été battu par son successeur non-spécialisé AlphaZéro.

Le match StarCraft qui vient de se passer correspond au tout premier match. Ils n'ont pas visé le top mondial, mais de bons joueurs accessibles, avec une version exploitable qui avait des chances de gagner. Ils en sont encore au stade expérimental à voir jusqu'où ça va. Peut être que le prochain match sera avec les meilleurs du monde l'année prochaine, mais ce qui est sûr est qu'il planche encore sur l'amélioration d'AlphaStar, le 11e match ayant été fait avec une toute nouvelle version.
2  2 
Avatar de fredoche
Membre expert https://www.developpez.com
Le 05/02/2019 à 17:05
Citation Envoyé par Dgamax Voir le message


Sinon, ça signifie quoi pour toi l’intelligence artificielle ?
Hé bien en préambule j'adhère beaucoup à ce qu'a dit Mathieu, qui l'a dit de manière beaucoup plus élégante et directe que ce que je suggérais

Citation Envoyé par Matthieu Vergne Voir le message
Il faut savoir que le terme "intelligence" en IA est un buzzword marketing. Dans la quasi totalité des cas, on ne cherche pas à faire une machine intelligente, mais une machine experte dans une tâche bien précise. Si tu écoute ceux qui bossent directement sur ces technos, tu entendras parler de performance, efficience, efficacité, etc. mais quasiment jamais d'intelligence.
Et je comprends le besoin de marketing, de démontrer des résultats, on est tous tenu à ça quelque part

Si je devais définir intelligence, l'un des mots basiques que je pourrais employer c'est capacité d'adaptation.
Connaissant un peu la neurologie et la psychophysiologie je crois que nous sommes toujours très loin de pouvoir reproduire de manière numérique le fonctionnement des axones et dendrites des neurones du néocortex des mammifères, leur formidable plasticité, la richesse de comportement qu'offrent les neuro-transmetteurs... Mais bref on s'en fout pas mal.

Citation Envoyé par Dgamax Voir le message
Deepblue et AlphaGo ou Alphastar ne fonctionnent pas de la même façon.
Deepblue calculé tous les coups possibles et demandé un supercalculateur pour jouer aux échec.
L'alpha team, tourne sur un PC portable classique et se sert de sa connaissance pour s'adapter face à ses concurrents.

Le seul point commun c'est que les chercheurs n'étaient pas des grands joueurs d'échec, go ou sc2.

Sinon, ça signifie quoi pour toi l’intelligence artificielle ?
Alors oui mais en réalité non :
- 200 ans d'apprentissage sur les TPU google, c'est aussi 200 ans de parties d'échecs stockées dans les mémoires de Deepblue. De mes souvenirs celui-ci avait été nourri de toutes ls parties d'échecs de grand maitres du 19e et 20 e siècle répertoriées, et c'était la mode de conserver ces traces à l'époque, toujours d'ailleurs
ici https://en.wikipedia.org/wiki/Deep_B...hess_computer) on lit :
Deep Blue's evaluation function was initially written in a generalized form, with many to-be-determined parameters (e.g. how important is a safe king position compared to a space advantage in the center, etc.). The optimal values for these parameters were then determined by the system itself, by analyzing thousands of master games. The evaluation function had been split into 8,000 parts, many of them designed for special positions. In the opening book there were over 4,000 positions and 700,000 grandmaster games.
Juste pour les ouvertures donc.
et pour Alphastar :
In order to train AlphaStar, we built a highly scalable distributed training setup using Google's v3 TPUs that supports a population of agents learning from many thousands of parallel instances of StarCraft II. The AlphaStar league was run for 14 days, using 16 TPUs for each agent. During training, each agent experienced up to 200 years of real-time StarCraft play. The final AlphaStar agent consists of the components of the Nash distribution of the league - in other words, the most effective mixture of strategies that have been discovered - that run on a single desktop GPU.
- Deep blue c'est de la force brute, de l'analyse en // à haute vitesse. Deep blue est donné à 11,4 GFlop/s.
Et dans le texte précédent je lis : in other words, the most effective mixture of strategies that have been discovered - that run on a single desktop GPU.
Et par curiosité j'ouvre le site Nvidia, je vois l'encart sur la carte graphique la plus rapide jamais conçue (jusqu'à la prochaine hein ) : 130 TFlops Tensor https://www.nvidia.com/fr-fr/titan/titan-rtx/
Je ne sais pas si Tensor du sens dans ce contexte , mais sinon 130 TFlops, c'est juste (130*1000)/11,4=11403 Deep Blue dans une carte graphique. C'est pas de la force brute les algos, mais il y a de quoi faire quand même.

Ca tourne vraiment sur un portable ? j'ai pas trouvé d'infos à ce sujet, sans trop chercher cela dit
2  0 
Contacter le responsable de la rubrique Accueil

Partenaire : Hébergement Web