AlphaStar, l'IA de DeepMind qui a battu deux des meilleurs joueurs de Starcraft II,
A-t-elle combattu à la loyale ou disposait-elle d'avantages ?

Le , par Stéphane le calme

123PARTAGES

17  0 
DeepMind, la startup de l'IA acquise par Google en 2014, est probablement mieux connue pour avoir créé la première intelligence artificielle à battre un champion du monde au jeu de Go. Alors, que faites-vous après avoir maîtrisé l'un des jeux de société les plus difficiles au monde ? Vous abordez un jeu vidéo complexe. Plus précisément, DeepMind a décidé de développer une IA pour jouer au jeu de stratégie en temps réel StarCraft II.

StarCraft exige des joueurs qu’ils rassemblent des ressources, construisent des dizaines d’unités militaires et les utilisent pour tenter de détruire leurs adversaires. StarCraft est particulièrement difficile pour une IA car les joueurs doivent exécuter des plans à long terme sur plusieurs minutes de jeu, les peaufinant à la volée face aux contre-attaques ennemies. DeepMind a déclaré qu’avant ses propres efforts, personne n’était parvenu à concevoir une intelligence artificielle StarCraft aussi performante que les meilleurs joueurs.

La nécessité d'équilibrer les objectifs à court et à long terme et de s'adapter aux situations imprévues pose un défi de taille aux systèmes souvent fragiles et inflexibles. La maîtrise de ce problème nécessite des avancées dans plusieurs défis de la recherche sur l'IA, notamment dans :

  • la théorie du jeu : StarCraft est un jeu où, à la différence du chifoumi (pierre-papier-ciseaux, il n'y a pas de meilleure stratégie. En tant que tel, un processus de formation à l'IA doit continuellement explorer et élargir les frontières de la connaissance stratégique.
  • Informations imparfaites : contrairement aux jeux comme les échecs ou Go où les joueurs voient tout, les informations cruciales sont cachées aux joueurs de StarCraft et doivent être activement découvertes en effectuant des « reconnaissances ».
  • Planification à long terme : comme beaucoup de problèmes concrets, les causes et effets ne sont pas instantanés. Les jeux peuvent également prendre jusqu’à une heure, ce qui signifie que les actions entreprises au début du jeu risquent de ne pas être rentables avant longtemps.
  • Temps réel : contrairement aux jeux de société traditionnels où les joueurs alternent les mouvements subséquents, les joueurs de StarCraft doivent effectuer des actions de manière continue au fur et à mesure que le chronomètre avance.
  • Grand espace d'action : des centaines d'unités et de bâtiments différents doivent être contrôlés simultanément, en temps réel, créant ainsi un espace combinatoire de possibilités. De plus, les actions sont hiérarchiques et peuvent être modifiées et augmentées.



En raison de ces immenses défis, StarCraft est devenu un « grand défi » pour la recherche sur l'IA.

DeepMind a annoncé avoir battu deux des meilleurs joueurs de StarCraft

Jeudi dernier, DeepMind a annoncé une avancée significative. La société a opposé son IA, baptisée AlphaStar, à deux des meilleurs joueurs de StarCraft - Dario "TLO" Wünsch et Grzegorz "MaNa" Komincz. AlphaStar a remporté une série de cinq matchs contre Wünsch 5-0, puis a battu Komincz 5-0.

Citation Envoyé par DeepMind
Ces dernières années, StarCraft, considéré comme l'un des jeux de stratégie en temps réel (RTS) les plus difficiles et l'un des sports les plus joués de tous les temps, s'est imposé par consensus comme un « grand défi » pour la recherche sur l'IA.

Nous présentons maintenant notre programme StarCraft II, AlphaStar, la première intelligence artificielle à vaincre un joueur professionnel de haut niveau. Lors d'une série de matches d'essai qui s'est déroulée le 19 décembre, AlphaStar a remporté une victoire décisive face au Grzegorz "MaNa" Komincz, de l'équipe Liquid, 5-0, à la suite d'un match de référence contre son coéquipier Dario "TLO" Wünsch. . Les matches se sont déroulés dans des conditions de match professionnelles sur une carte en échelle de compétition et sans aucune restriction de jeu.

Bien que les jeux vidéo tels qu'Atari, Mario, Quake III Arena Capture du drapeau et Dota 2 aient connu un succès considérable, les techniques de l'intelligence artificielle ont jusqu'à présent eu du mal à faire face à la complexité de StarCraft. Les meilleurs résultats ont été rendus possibles par la fabrication manuelle d’éléments majeurs du système, l’imposition de restrictions importantes aux règles du jeu, la fourniture de capacités surhumaines au système ou la lecture de cartes simplifiées. Même avec ces modifications, aucun système n’a réussi à rivaliser avec les compétences des joueurs professionnels. En revanche, AlphaStar joue à StarCraft II dans son intégralité, en utilisant un réseau de neurones profonds entraîné directement à partir de données brutes de jeu, par apprentissage supervisé et renforcement.
AlphaStar a été formé en utilisant "jusqu'à 200 ans" de gameplay virtuel

Le comportement d’AlphaStar est généré par un réseau de neurones profonds qui reçoit des données d’entrée de l’interface de jeu brute (une liste des unités et de leurs propriétés) et émet une séquence d’instructions constituant une action dans le jeu.

AlphaStar utilise également un nouvel algorithme d’apprentissage multi-agents. Le réseau de neurones a été initialement formé par apprentissage supervisé à partir de jeux humains anonymisés publiés par Blizzard. Cela a permis à AlphaStar d’apprendre, par imitation, les stratégies de base micro et macro utilisées par les joueurs à l’échelle de StarCraft. Cet agent initial a vaincu l'IA intégrée de niveau « Elite » - autour du niveau de l'or pour un joueur humain - dans 95% des matchs.

Citation Envoyé par DeepMind
Afin de former AlphaStar, nous avons développé une configuration de formation distribuée hautement évolutive à l'aide des TPU v3 de Google, qui prend en charge une population d'agents apprenant à partir de plusieurs milliers d'instances parallèles de StarCraft II. La ligue AlphaStar a duré 14 jours, avec 16 TPU pour chaque agent. Pendant la formation, chaque agent a connu jusqu'à 200 ans de jeu StarCraft en temps réel. L'agent final AlphaStar comprend les composants de la distribution Nash de la ligue - en d'autres termes, le mélange le plus efficace de stratégies découvertes - fonctionnant sur un seul GPU desktop.
En somme, le processus a commencé par l'utilisation de l'apprentissage supervisé pour aider les agents à apprendre à imiter les stratégies des joueurs humains. Cette technique d’apprentissage par renforcement était suffisante pour construire un bot StarCraft II compétent. DeepMind dit que cet agent initial « a vaincu l'IA intégrée du niveau Elite - autour du niveau de l'or pour un joueur humain - dans 95% des matchs »

DeepMind a ensuite divisé cette IA initiale en plusieurs variantes, chacune avec un style de jeu légèrement différent. Tous ces agents ont été jetés dans une ligue virtuelle StarCraft, chaque agent jouant avec les autres joueurs 24 heures sur 24, apprenant de leurs erreurs et faisant évoluer leurs stratégies au fil du temps.

« Pour encourager la diversité dans la ligue, chaque agent a son propre objectif d'apprentissage: par exemple, quels concurrents cet agent devrait-il viser, et toutes motivations internes supplémentaires qui biaisent la façon dont l'agent joue », explique DeepMind. « Un agent peut avoir pour objectif de vaincre un concurrent spécifique, tandis qu'un autre peut devoir vaincre toute une distribution de concurrents, mais en construisant davantage d'une unité de jeu particulière ».

Selon DeepMind, certains agents ont gagné l'équivalent de 200 ans de pratique en jouant à StarCraft contre d'autres agents. Sur une période de deux semaines, ce processus darwinien a considérablement amélioré les compétences moyennes des agents:

Au terme de ce processus, DeepMind a sélectionné cinq des agents les plus puissants de sa ménagerie virtuelle pour affronter les challengers humains d'AlphaStar. Une conséquence de cette approche est que les joueurs humains été confrontés à une stratégie différente lors de chaque match contre AlphaStar.

Source : DeepMind

Et vous ?

Le combat était-il équitable selon vous ou l'IA disposait-elle d'avantages ?

Voir aussi :

Unity lancera bientôt un challenge axé sur l'intelligence artificielle au travers d'un jeu pour repousser les limites des systèmes intelligents
La révolution de l'automatisation et de l'intelligence artificielle sera surtout néfaste pour les hommes, selon une analyse
« L'intelligence artificielle n'existe pas et la voiture autonome n'existera jamais », selon un expert en IA
RITME organise un atelier sur la programmation parallèle et l'intelligence artificielle, les 6 et 7 février 2019 en Belgique
Dans l'hôtel futuriste d'Alibaba, le personnel est en supplément, l'hôtel étant géré par l'intelligence artificielle

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de Dgamax
Membre habitué https://www.developpez.com
Le 04/02/2019 à 17:13
Même si ils ont limité les APM, les 10 match en off qui se sont déroulé chez Deepmind en Angleterre, Alphastar a gagné 10/0, mais il avait un accès global de toute la map (sauf celle couverte par le brouillard de guerre) donc en plus d'avoir un microgestion parfaite, elle pouvait et c'est ce qu'elle a fait, attaquer sur plusieurs front en même temps sans devoir repositionner la camera car elle avait la vue total de la map.

Par contre, le match qui était en live contre MaNa, celle-ci a été entraîné différemment, elle était limité à la même vision que MaNa et cette fois-ci MaNa a remporté la victoire.

Au niveau de la microgestion il n'y a rien d'impressionnant, c'est une machine, même si Alphastar tourne sur un simple laptop, le temps réponse comparé à un être humain est bien meilleur donc ça pas de surprise.
Avatar de Doksuri
Membre émérite https://www.developpez.com
Le 04/02/2019 à 17:37
pareil, j'ai ete surpris de voir que sont APM (actions par minutes) n'etait pas deconnant (et etait souvent plus bas que l'humain)

j'ai pas regarde tous les matchs (pas le temps) mais de ce que j'ai vu, c'est ce que pourrait faire n'importe qui :
  • AlphStar met la pression a son ennemi (juste a la sortie de sa base) ce qui lui permet de scout (decouvrir) les unites (et la quantite) de l'autre => et reagir en consequent (produire l'unite de contre)
  • en parallele, AlphaStar semble avoir une notion de succes du combat (il possede X,Y,Z unites, j'en possede A,B,C ... j'ai 90% de chances de perdre)
  • AlphaStar utilise au mieux ses ressources (production en continue)
  • s'il ne peut plus mettre la pression, il rentre defendre sa base.
  • lors des combats, il place au mieux ses unites et attend que l'autre s'ecrase contre lui

le probleme du cerveau humain, c'est qu'on a un nombre limite de TODO a checker en continue (verifier qu'on utilise bien toutes nos ressources, verifier la mini-map, verifier que nos unites sont bien places, quelles unites produire, quels batiments construires, verifier que ci, que ca...) et quand arrive un combat, on perd le fil de cette TODO
=> AlphaStar ne se rate jamais sur ces TODOs

l'autre probleme et qu'on a une moins bonne estimation de l'issue d'un combat

de plus, je n'ai pas l'impression qu'il "triche" comme on pourrait l'entendre : j'ai l'impression qu'il detecte sur la mini-map, un point ennemi : il deplace la camera dans la zone pour "voire" ce que c'est.
Avatar de fredoche
Membre expert https://www.developpez.com
Le 04/02/2019 à 17:45
ma petite pensée philosophique du jour :
ce sont des jeux de guerre, de stratégie militaire certes SF et virtuels, mais guerre, bataille, boum boum, conquête, etc.
Battre, écraser, vaincre, tuer, massacrer, encercler

Qui appelle ça de l'intelligence ? Qui ?

Du temps où les échecs étaient rois, les grands joueurs n'étaient pas forcément très intelligents de manière générale, mais ils développaient un don, des capacités cognitives (comme d'autres le calcul mental ou les langues), une spécialisation.

Des gars comme Vinci, Einstein, Pythagore, Euclide étaient intelligents. L'intelligence c'est de résoudre utilement des problèmes, apporter de nouveaux outils, découvrir de nouvelles facettes, augmenter "le monde".

Quand est-ce qu'on met ces fameuses IA à bosser sur le traitement de la leucémie ou du paludisme ?

Parce que sinon c'est juste de la branlette, et de bons scénarios à la terminator.
Avatar de LittleWhite
Responsable 2D/3D/Jeux https://www.developpez.com
Le 04/02/2019 à 17:54
Bonjour,

Je souhaiterai répondre à fredoche.
Il est possible de considérer les jeux sous la forme suivante : un jeu vidéo n'est qu'une problématique présentée au joueur, problématique qu'il doit résoudre pour accéder à une récompense (la fin du jeu, souvent).
Dans Mario, le joueur doit aller à droite (fin du niveau). Pour cela il peut sauter et courir. Il faut faire preuve d'une certaine capacité cognitive (synchronisation des yeux et mains, reflex, mémoire...) pour réussir.
Dans Starcraft, on démarre avec quatre récolteurs. Il faut écraser son ennemi. Du coup, il faut monter une armée (une armée efficace pour battre l'ennemi et non pas juste une "grosse" armée), lui donner des ordres précis et pointus, gérer ses ressources et son extension. Bref, cela demande (d'après moi) des capacités plus élevés que Mario.

Et pour moi, Starcraft est une évolution du jeu d'échec. Un jeu d'échec sur une carte plus grande, avec des ressources à gérer, de la production à gérer, mais dans l'idée, cela reste de la stratégie et cela reste qu'il faut battre l'adversaire (en détruisant ses pièces).

Et puis, on a déjà mis les IA sur des sujets "plus utiles d'après vous" : http://www.developpez.com/actu/23971...lon-une-etude/ .
Avatar de onilink_
Membre éprouvé https://www.developpez.com
Le 04/02/2019 à 18:05
Citation Envoyé par Dgamax Voir le message
Au niveau de la microgestion il n'y a rien d'impressionnant, c'est une machine, même si Alphastar tourne sur un simple laptop, le temps réponse comparé à un être humain est bien meilleur donc ça pas de surprise.
C'est tellement peu impressionnant qu'il a fallu attendre 2019 (soit près d'une décennie après la sortie du jeu) pour faire une IA capable de battre des joueurs d'élite.

J'imagine qu'alpha go est encore moins impressionnant à vos yeux.
C'est tellement trivial comme jeu pour une machine.
Avatar de marsupial
Membre expert https://www.developpez.com
Le 04/02/2019 à 18:24
Citation Envoyé par Stéphane le calme Voir le message
Le combat était-il équitable selon vous ou l'IA disposait-elle d'avantages ?
L'IA disposait d'avantages comme référencés par Matthieu Vergne mais il s'agit d'un gigantesque bond en avant pour une machine. Qui peut se targuer d'avoir battu des joueurs pros avec une machine ? Bien que Deep Mind n'ait plus rien à prouver suite à son triomphe au jeu de Go contre les meilleurs joueurs, ils font progresser la recherche dans le domaine du jeu. Une IA qui challenge l'humain dans un jeu le rend plus intéressant.

Et comme dit par Little White, l'IA performe dans d'autres domaines que le jeu. Et là qui se plaindra que l'IA utilise tous les avantages d'une machine pour poser un diagnostic précoce pour un meilleur traitement ?
Avatar de fredoche
Membre expert https://www.developpez.com
Le 04/02/2019 à 18:31
Littlewhite, je connais bien Mario et Starcraft, je suis un vieux joueur, je pourrais en raconter autant que le joueur du grenier si ça se trouve.

Mais ça me rappelle les exploits Deepblue contre Kasparov de l'époque. Je trouve ça tellement limité cette notion d'intelligence dans ces contextes, aussi artificielle soit-elle.

J'avais envie de le dire, histoire de récolter une bonne tournée de pouces rouges, alors Go ! Niet pas le jeu

Kasparov sait nouer ses lacets tout seul et a été un des premiers opposants à Poutine, voilà de la vraie intelligence.
Avatar de thelvin
Modérateur https://www.developpez.com
Le 04/02/2019 à 19:18
Citation Envoyé par onilink_ Voir le message
C'est tellement peu impressionnant qu'il a fallu attendre 2019 (soit près d'une décennie après la sortie du jeu) pour faire une IA capable de battre des joueurs d'élite.
Apparemment, la micro, ça ne fait pas absolument tout le jeu. Par exemple, aussi bonne soit-elle en micro, si une IA envoie ses récolteurs attaquer l'ennemi dès le début du jeu, elle se fera rétamer par un progamer (mais peut-être pas par moi, ridicule petit rang Argent.)

Autrement dit, si le pro tient assez longtemps face à l'invraisemblable force d'une parfaite microgestion, sa capacité à élaborer des stratégies qui défoncent complètement le plan de développement que l'autre a suivi jusque-là, lui donnera l'avantage et la victoire. Ça, on peut penser qu'une IA ne pouvait pas le faire, ou en tout cas que c'était assez compliqué, surtout avec informations incomplètes.

Du coup, ça change de voir maintenant une IA qui, face à un pro qui a survécu assez longtemps, ne se trouve pas spécialement dérangée et continue de profiter allégrement de son avantage écrasant en microgestion.

Mais il faut pas se leurrer. La partie microgestion, Blizzard pouvait fournir des IA qui fassent aussi bien dès le début (même mieux, en fait, car AlphaStar a souvent tendance à décimer ses propres troupes avec des AoE, ce qui assez souvent ne pouvait pas avoir de bon côté. Avec ça, on voit au moins qu'ils n'ont pas cherché à lui programmer sa microgestion. C'est un acquis tiré de l'apprentissage avec des défauts bien réels, mais qui toutefois ne pèsent pas assez dans la stratégie résultante pour vouloir les corriger.) Alors pourquoi on a pas eu une IA avec une si formidable micro jusque-là ? Mais parce que, quel intérêt ? Qui en doute, du fait que la machine nous surclasse plus qu'on ne peut même le concevoir sur les travaux logiques et rapides ? Quelqu'un qui n'a jamais tenu une calculette ?

Les IA de Starcraft ne poussent pas trop loin leur savoir-faire en microgestion, parce que ça n'intéressait personne qu'elles le fassent. Il n'y a qu'à voir l'invraisemblable frustration, quand MaNa s'est fait décimer son armée très largement supérieure, chose qu'aucun adversaire humain n'aurait pu lui faire dans une "vraie" partie. Une partie dans laquelle le rapport de force des unités a l'effet qu'il est censé avoir, et où donc son armée ne pouvait qu'écraser l'armée adverse. C'est possible de faire une IA qui fait tous les micros-choix nécessaires pour éliminer l'adversaire exactement de la manière qui permet de le faire. Mais, ça n'a aucun intérêt. Au départ c'est un jeu vidéo, qui se joue pour le plaisir.

Alors oui, les pros sont si forts que la seule micro quasi-parfaite d'une IA ne suffit pas pour les vaincre : ils survivront assez longtemps pour que ce soit la stratégie qui compte, et leur stratégie est bien plus forte qu'une IA programmée sans le meilleur savoir-faire. Mais ça ne veut pas dire qu'il existe un intérêt à fournir des IA avec une micro parfaite, et seulement ça. Il faut une IA qui peut en faire quelque chose au-delà de juste jouer au mieux les batailles dans lesquelles elle se retrouve. Il faut une IA qui soit celle qui décide avec quoi ses batailles se joueront, et qui le fasse bien. Ce n'est pas de la micro, ça.
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 04/02/2019 à 19:48
Citation Envoyé par fredoche Voir le message
Je trouve ça tellement limité cette notion d'intelligence dans ces contextes, aussi artificielle soit-elle.
Il faut savoir que le terme "intelligence" en IA est un buzzword marketing. Dans la quasi totalité des cas, on ne cherche pas à faire une machine intelligente, mais une machine experte dans une tâche bien précise. Si tu écoute ceux qui bossent directement sur ces technos, tu entendras parler de performance, efficience, efficacité, etc. mais quasiment jamais d'intelligence.
Avatar de gallima
Membre habitué https://www.developpez.com
Le 04/02/2019 à 22:25
Est ce qu'il y a eu triche de la part de AlphaStar/Deepmind ?

1) Vision de toute la carte : C'est un avantage déterminant énorme.
2) Des piques à 1200action par minutes (APM) juste aux moments critiques, loin des 400 des humains. Et encore pour un humain à 400 il y a beaucoup de spams, moins du tiers sont des actions qui changent l'état du jeu; là où Deepmind fait des déplacements simultanés d'unité. Ce n'est pas le fait d'être à trois endroits en même temps qui pose un problème d'équité, c'est le fait de donner des ordres très précis de déplacement et de tir différentiés à chaque unité dans une grosse formation à 10 unités par secondes pendant les 3 secondes où se fait le match. Cette micro-maitrise des déplacements et attaques permet à l'IA de s'orienter vers des unités et style de jeu impraticable pour un humain. Ce n’est pas équitable.
3) Calcul au point de vie près de la survie des unités pour les déplacements: Alphastar ne manipule pas la sourie, il accède directement aux unités via son API, une grosse difficulté en moins; le clavier c'est moins gênant, mais dans l'absolu le problème est le même. Ce n’est pas équitable.
4) Une seul carte pour jouer ? Sérieusement il y en a plus de 200 dans le jeu. Même si l'humain sait quelle carte va sortir, on sait très bien qu'il ne peut pas réduire sa cervelle pour qu'elle tourne plus vite sachant la carte. Un ordinateur peut le faire par contre. Ce n’est pas juste.
5) Que de match Protoss contre Protoss ? Pourquoi ne pas autoriser les Terran et Zerg ? La diversité fait partie de la complexité. Ca perd de l’intérêt, honnêtement j'ai zappé des morceaux à cause de ça. Au moins avec Alphago cela ressemblait au go.
6) Pas un seul rush/cheese dans les stratégies de Mana, 10 matchs d'accords, mais 10 matchs copiés/collés. Pourquoi ? Un 'pro' ne ferait jamais ça. Perso si la plan A ne marche pas je fais le plan B, et les 'pro' on plein de plans. Qui a payé qui ? Que dit le contrat ?
7) Mana est un joueur pro, mais pas dans les 10 premiers. Dans le haut de la pyramide, le niveau monte de plusieurs crans, 500 points de MRR entre Mana(n°19) et Serral(n° 1); pas de sélection en tournoi majeur en 2018 : https://liquipedia.net/starcraft2/MaNa
8) A l'origine Deepmind avait annoncé qu'ils allaient créer un système qui apprendrait tout le jeu par l'écran la sourie et le clavier... Clairement l'objectif a été vite oublié ; ils ont entré les concepts du jeu dans l'IA, 'pylône', 'production', 'déplacement' etc... Les informations disponibles sont très ambigües sur l'intrusion humaine dans la programmation d'Alphastar. L'abstraction requise pour comprendre le jeu n'a pas été maitrisée, demain si le jeu évolue (comme il le fait souvent) Alphastar ne va pas s'adapter tout seul. Les capacités apprises par Alphastar ne sont vraisemblablement pas transposables à d'autres jeux de stratégies. Pour rappel, l'IA d'origine du jeu même en 'élite' ne ralentit pas du tout le fonctionnement du jeu et fonctionne sur un Hierchical Task Network qui pourrait aussi être amélioré; mais l'éditeur doit vouloir permet aux joueurs occasionnels de gagner. Si demain Alphastar doit jouer à Dune2, il faudra ré-encoder le jeu dans Dune2star, un humain maitriserait la différence en 2 ou 3 parties.

Dans le 11ieme matche, l'avantage numéro 1 est retiré et Alphastar/Deepmind fait n'importe quoi dès la première attaque par-derrière (pourtant très classique).

Si Alphastar est si forte alors pourquoi ne pas la lancer sur le ladder, je suis certain que beaucoup de joueurs lui feront un bon accueil.
Pour Deepmind, battre Mana lors d'un show truqué, c'est bien pour se faire un dernier coup de pub, avant de laisser tomber ce projet trop compliqué qui ne rapporte pas d'argent.
Contacter le responsable de la rubrique Accueil

Partenaire : Hébergement Web