Les réseaux neuronaux « n'apprennent pas vraiment »

Affirme un expert du domaine travaillant chez Intel

Mike Davies, research manager chez Intel en charge des architectures neuromorphiques, s'est permis un commentaire cinglant face à Yann Le Cun, chief artificial intelligence scientist chez Facebook (très respecté dans la communauté de l'apprentissage profond) : un réseau neuronal profond "n'apprend pas vraiment". "La rétropropagation [l'algorithme utilisé pour entraîner les réseaux neuronaux] n'a aucun rapport avec le cerveau […], ce n'est qu'une procédure d'optimisation, elle n'enseigne rien."

Il n'a jamais mis en doute les résultats obtenus par ces réseaux neuronaux. Pour faire mieux, il propose une variante : exploiter des impulsions comme communication entre neurones. Dans un réseau neuronal classique ("profond", un neurone calcule sa sortie en fonction de ses entrées : à chaque entrée (un nombre réel, par exemple entre zéro et un) correspond un poids ; cette moyenne pondérée des entrées passe à travers une fonction d'activation et est ensuite passée aux neurones d'après. Au contraire, dans un réseau neuronal d'impulsions, les neurones communiquent uniquement à l'aide d'impulsions : un neurone n'est activé que si suffisamment d'entrées sont activées.

Ce système est beaucoup plus proche du fonctionnement du cerveau humain, selon la recherche actuelle en neurologie. Or, le cerveau est réellement capable d'intelligence, peu importe la manière de la définir ; de plus, sa puissance de calcul est phénoménale, surtout au regard de sa consommation énergétique. Cela n'est possible que grâce à une énorme économie de moyens : un neurone envoie assez rarement une impulsion. Pendant ce temps, justement, le développement de processeurs spécifiques pour les réseaux neuronaux "classiques" bute sur l'exploitation du caractère épars des données.

Justement, Intel a récemment proposé une nouvelle puce pour les réseaux neuronaux à impulsions : (Loihi pas encore basée sur des transistors MESO). Celle-ci tend à consommer bien moins d'énergie pour effectuer de l'inférence (avec une précision moindre, cependant, sur une expérience de reconnaissance de mot clé). Sur une autre tâche (une classification plus classique), Loihi a pu aller quarante fois plus vite (avec des impulsions) que des processeurs graphiques (avec des réseaux neuronaux classiques), avec une précision légèrement améliorée (huit pour cent).

Mike Davies a cependant reconnu une faiblesse de l'approche : même si le matériel est prêt, les algorithmes n'ont pas reçu autant d'attention que pour les autres réseaux neuronaux. Son équipe a d'ailleurs pour objectif de faire avancer la recherche à ce sujet. (À ce sujet, sa remarque faisait écho à une attaque similaire de Yann Le Cun : ce dernier annonçait qu'il ne fallait pas perdre de temps avec "des algorithmes qui ne marchent pas".

Source : Intel’s neuro guru slams deep learning: ‘it’s not actually learning’.

Voir aussi : Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware.