Il y a quelques années, DeepMind a créé un système de machine learning capable d’apprendre à effectuer certaines tâches complexes. Un obstacle de taille limitait toutefois l’efficacité de l’outil : il ne pouvait pas mémoriser les connaissances qu’il avait acquises lors de la réalisation des tâches. Pour remédier à ce problème, l’entreprise a néanmoins développé un algorithme conférant une mémoire au système. Gros plans !
Deep-Q-Network et « l’oubli catastrophique »
DeepMind est une société britannique spécialisée dans l’intelligence artificielle. Il y a quelques années, elle s’est inspirée du fonctionnement des réseaux neuronaux humains pour développer un système doté d’une capacité d’apprentissage profond. La société, rachetée par Google en 2014, a baptisé sa technologie Deep-Q-Network (DQN).
S’appuyant sur l’expérience et la mémorisation, le système a pu maîtriser de nombreuses tâches difficiles comme la traduction d’un texte, le classement d’images, etc. À ce propos, Demis Hassabis, cofondateur de DeepMind, avait commenté : « C’est la première fois qu’on conçoit un système qui soit capable d’apprendre directement à partir de l’expérience pour maîtriser ensuite une vaste gamme de tâches difficiles ».
DQN a notamment pu apprendre 49 jeux vidéo Atari tout seul. Il est parvenu à surpasser des joueurs humains expérimentés sur des jeux comme Space Invaders et Breakout.
Le système présentait toutefois une limite : il n’était pas en mesure de mémoriser son savoir-faire. En effet, après une partie, DQN oubliait ce qu’il avait appris et devait repartir à zéro lors de l’exécution d’une nouvelle tâche. Contrairement à l’humain qui assimile progressivement en réutilisant ses acquis, la technologie de Google DeepMind désapprenait et ne pouvait pas utiliser ses connaissances dans un contexte différent. C’est ce que les chercheurs appellent « oubli catastrophique ».
La « consolidation de poids élastique »
Collaborant avec des chercheurs de l’Imperial College de Londres, les spécialistes de DeepMind ont trouvé un moyen pour contourner l’obstacle que constitue « l’oubli catastrophique ». Ils se sont à nouveau inspirés des neurosciences et des connaissances sur la mémoire humaine pour lancer un algorithme qui en confère une à DQN. Baptisé « consolidation de poids élastique » ou EWC (Elastic Weight Consolidation), celui-ci permet au système d’apprendre, de mémoriser ses acquis et de les réutiliser.
Les neuroscientifiques distinguent deux processus de consolidation du savoir. Appelé consolidation systématique, le premier consiste en un transfert des éléments mémorisés par la partie d’apprentissage rapide du cerveau vers celle de l’apprentissage lent. Ce mécanisme s’effectue consciemment et/ou inconsciemment, notamment durant le sommeil. Concernant le second processus (la consolidation synaptique), il implique des connexions entre les neurones, ce qui est indispensable à la mémorisation des acquis précédents.
Les experts de Google DeepMind ont exploité le deuxième processus de consolidation pour créer l’EWC. Après avoir accompli une tâche, le système apprécie l’envergure des différentes connexions neuronales. Selon leur degré d’importance, celles-ci sont ensuite protégées contre d’éventuelles modifications. Ainsi, plus une connexion est essentielle, moins elle est altérable. C’est de cette manière que la préservation et l’évolution du savoir se réalisent. Le nom « consolidation de poids élastique » se base sur cette estimation de l’importance des liens.
Concrètement, l’algorithme permet au système de la société d’apprendre de manière séquentielle. Lorsqu’il passe d’une tâche à une autre, il est désormais capable de mémoriser ce qu’il a acquis et les réutilise pour accomplir la nouvelle mission.
Avec Google Deepmind, un énorme progrès en matière d’intelligence artificielle a été réalisé
Grâce à cette nouvelle technologie, Google DeepMind dispose alors d’une énorme banque d’expériences. En effet, la société peut dorénavant conserver les informations les plus capitales des expériences antérieures de son système. Toutefois, lorsque celui-ci s’adonne à une nouvelle tâche, il n’est pas aussi fonctionnel que durant la mission précédente.
Bien que ce nouveau système ne soit pas encore parfait, il constitue un énorme progrès en matière d’intelligence artificielle. Il met un terme à « l’oubli catastrophique » et indique que l’apprentissage artificiel pourra se faire de manière plus souple et efficace. Dans ce cadre, le cofondateur de DeepMind, avait affirmé : « Dans le futur, utiliser ce type d’intelligence artificielle devrait nous aider dans des domaines comme l’étude des maladies et les questions climatiques, qui impliquent des données nombreuses et très complexes ».
Contact sans engagement
Besoin d’information sur Google Deepmind ? On est là pour vous aider !
