L’apprentissage profond (Deep Learning), une des techniques de l’intelligence artificielle, a conduit à une sorte de renaissance dans le domaine de la R&D de la tech, affirme Yann LeCun, scientifique en chef de l’IA pour Meta.
« Le type de techniques sur lesquelles nous avons travaillé a eu un impact commercial beaucoup plus important, beaucoup plus vaste » que lors des périodes précédentes de l’intelligence artificielle, a déclaré Yann LeCun lors d’une petite réunion ce mois-ci.
« Et le résultat de cela est que cela a attiré beaucoup de fonds de recherche et, en fait, a provoqué un renouvellement de la recherche industrielle. »
Pourquoi les géants de la tech font de la R&D fondamentale ?
Il y a encore vingt ans, a déclaré M. LeCun, Microsoft Research était la seule entité industrielle qui « avait une certaine stature dans les technologies de l’information. » Mais ensuite, a dit M. LeCun, les années 2010 ont vu « Google Research arriver, et FAIR [Facebook AI Research], que j’ai créé, et quelques autres laboratoires, ont fondamentalement relancé l’idée que l’industrie pouvait faire de la recherche fondamentale. »
Cette résurgence de la R & D en entreprise se produit, a déclaré M. LeCun, « parce que la perspective de ce qui peut arriver dans le futur, et de ce qui arrive dans le présent, grâce à ces technologies, est grande. »
Selon M. LeCun, la valeur de l’IA appliquée conduit à un système à deux voies, dans lequel la R & D en entreprise maintient des projets à long terme, des projets de type « moonshot », et une autre voie canalise la recherche vers des applications produits plus pratiques.
« Il est tout à fait logique pour une entreprise comme Meta d’avoir, simultanément, un grand laboratoire de recherche qui a des objectifs ambitieux de long terme, comme la création d’assistants virtuels dotés d’une intelligence de niveau humain, parce que c’est ce que nous voulons, en fin de compte. Mais en même temps, la technologie qui a été développée est déjà utile ».
L’exemple de l’ABS et des voitures autonomes
« Par exemple, la modération de contenu et la détection de la parole dans plusieurs langues ont été complètement révolutionnées au cours des deux ou trois dernières années par de grands Transformers pré-entraînés de manière auto-supervisée« , a déclaré LeCun, faisant référence au programme de traitement du langage naturel Transformer de Google, introduit en 2017, qui est devenu la base de nombreux programmes tels que ChatGPT d’OpenAI.
« Il a fait d’énormes progrès, des progrès incroyables, et cela est dû aux dernières recherches en matière d’IA », a déclaré LeCun.
M. LeCun était invité à participer à une conférence d’une heure et demie organisée par the Collective[i] Forecast, une série de discussions interactives en ligne organisée par Collective[i], qui se présente comme « une plateforme d’IA conçue pour optimiser les ventes B2B ».
M. LeCun répondait à une question de ZDNET concernant l’effet de l’intérêt sans précédent de l’industrie et du business pour l’IA sur la science fondamentale de l’IA.
M. LeCun s’est dit « optimiste » quant à la capacité de l’IA appliquée à être utilisée pour le bien de la société. Même lorsque l’IA ne parvient pas à atteindre certains objectifs, elle produit des effets qui peuvent être bénéfiques, a-t-il indiqué.
Il a cité l’exemple des systèmes de véhicules autonomes qui, à défaut d’être véritablement autonomes, ont eu pour effet de fournir des dispositifs de sécurité routière qui ont sauvé des vies. « Chaque voiture qui sort en Europe doit désormais être équipée d’un système de freinage d’urgence automatique, l’ABS », a observé M. LeCun.
Les ABS, a-t-il noté, sont « les mêmes systèmes qui permettent à la voiture de se conduire toute seule sur l’autoroute, n’est-ce pas ? » Le mécanisme de freinage réduit les collisions de 40%, a-t-il noté. « Donc, malgré tout ce que vous entendez sur, vous savez, la Tesla qui a foncé dans un camion ou autre, ces choses sauvent des vies, au point qu’elles sont obligatoires. »
La grande affaire de l’utilisation de l’IA dans la science
« L’une des choses que je trouve assez prometteuses est l’utilisation de l’IA dans la science et la médecine » pour améliorer la vie des gens assure le responsable de Meta.
« Il existe un grand nombre de systèmes expérimentaux qui améliorent la fiabilité du diagnostic à partir de l’IRM et des rayons X pour un certain nombre de maladies différentes », a déclaré LeCun. « Cela va avoir un impact énorme sur la santé ».
Ces avancées, bien que positives, sont minimes, a-t-il ajouté, comparées à « la grande affaire », à savoir « la manière dont l’IA sera utilisée pour la science ».
« Nous disposons de systèmes capables de plier les protéines. Nous avons maintenant des systèmes qui sont capables de concevoir des protéines pour qu’elles adhèrent à un endroit particulier. Ce qui signifie que nous pouvons concevoir des médicaments d’une manière complètement différente de ce que nous avons fait dans le passé », a déclaré LeCun.
L’IA au secours du développement des batteries ?
L’IA a également « un énorme potentiel de progrès dans le domaine de la science des matériaux », a déclaré M. LeCun. « Et nous allons en avoir besoin parce que nous devons résoudre le problème du changement climatique, donc, nous devons être en mesure d’avoir des batteries à haute capacité qui ne coûtent pas une fortune, et qui ne vous obligent pas à utiliser des matériaux exotiques que nous ne pouvons trouver qu’à un seul endroit. »
M. LeCun a cité un projet de matériaux de ce type, Open Catalyst, fondé par des collègues de FAIR, qui collabore avec l’université Carnegie Mellon pour appliquer l’IA au développement de « nouveaux catalyseurs à utiliser dans le stockage des énergies renouvelables afin de contribuer à la lutte contre le changement climatique ».
« L’idée est de couvrir un petit désert de panneaux photovoltaïques et de stocker l’énergie utilisée par ces panneaux, par exemple sous forme d’hydrogène ou de méthane », a expliqué M. LeCun. Les approches actuelles pour stocker les produits à base d’hydrogène ou de méthane, a-t-il ajouté, sont « soit évolutives, soit efficaces, mais pas les deux. »
« Nous pourrions peut-être découvrir à l’aide de l’IA un nouveau catalyseur qui rendrait ce processus plus efficace ou évolutif en ne nécessitant pas un nouveau matériau exotique. Cela ne fonctionnera peut-être pas, mais cela vaut la peine d’essayer. »
Malgré ces nombreuses applications commerciales prometteuses, M. LeCun a suggéré que l’étroitesse des utilisations industrielles n’est pas à la hauteur de l’objectif plus large de l’IA, à savoir la quête d’une intelligence de niveau animal ou humain.
Les limites de la mise à l’échelle de l’IA
Les énormes progrès de la recherche qui sous-tendent les applications d’aujourd’hui, des choses comme Transformers, ont été rendus possibles à l’ère de l’apprentissage profond par une disponibilité sans précédent des données et de la puissance de calcul, a déclaré M. LeCun, alors que les progrès scientifiques fondamentaux n’ont pas toujours été aussi abondants ou aussi riches.
« Ce qui a provoqué la vague plus récente, c’est, d’abord, quelques avancées conceptuelles, mais surtout la quantité de données disponibles et la quantité de calcul qui ont rendu possible la mise à l’échelle de ces systèmes. »
Des choses comme les grands modèles de langage (LLM), tels que GPT-3, le programme informatique sur lequel ChatGPT est basé, sont la preuve que la mise à l’échelle de l’IA, c’est-à-dire l’ajout de plus de couches de paramètres réglables, améliore directement les performances des programmes. « Il s’avère qu’ils fonctionnent très bien lorsque vous les mettez à l’échelle », a-t-il déclaré à propos de GPT-3 et de ses semblables.
Mais selon M. LeCun, l’industrie risque de voir ses rendements diminuer à un moment donné si elle se contente de mettre à l’échelle sans explorer d’autres voies.
« Beaucoup d’entreprises, comme OpenAI, en particulier, ont utilisé cela comme un mantra, il suffit de faire les choses plus grandes, et cela fonctionnera mieux », a-t-il déclaré. « Mais je pense que nous atteignons les limites de cela en ce moment ».
Malgré la mise à l’échelle de modèles toujours plus grands, a déclaré M. LeCun, « nous ne semblons pas être en mesure de former un système de conduite autonome complet en formant simplement des réseaux neuronaux plus grands sur davantage de données ; cela ne semble pas nous permettre d’y arriver ».
Aussi impressionnants soient-ils, des programmes tels que ChatGPT, que LeCun a qualifié de « pas particulièrement innovant » et en « rien révolutionnaire », ne possèdent pas de capacité de planification, a-t-il déclaré.
Et les limites de la réactivité versus la planification
« Ils sont complètement réactifs », a déclaré LeCun. « Vous leur donnez un contexte de quelques milliers de mots », c’est-à-dire l’invite tapée par l’homme, « et ensuite, à partir de cela, le système génère simplement le mouvement suivant de manière complètement réactive. »
« Il n’y a pas de planification ou de décomposition d’une tâche complexe en tâches plus simples, c’est juste réactif », a déclaré LeCun.
LeCun a proposé l’exemple du programme OpenAI CoPilot, qui a été intégré par Microsoft dans la plateforme de gestion de code GitHub. « Il y a une limitation très forte de ces systèmes », a-t-il dit. « Ils sont surtout utilisés comme un clavier prédictif gavé aux stéroïdes ».
« Vous commencez à écrire votre programme, et faites une description de ce qu’il doit faire dans les commentaires, et vous avez des outils basés sur de grands modèles de langage qui vont compléter le programme », a-t-il expliqué.
La grande recherche des gains de productivité grâce à l’IA
Une telle auto-complétion est semblable au régulateur de vitesse dans les voitures. « Vos mains doivent rester sur le volant à tout moment », car Co-Pilot peut générer des erreurs dans le code sans que vous en ayez conscience.
« La question est de savoir comment passer de systèmes qui génèrent un code qui parfois fonctionne mais parfois ne fonctionne pas », a déclaré LeCun. « Et la réponse à cette question est que tous ces systèmes aujourd’hui ne sont pas capables de planifier ; ils sont complètement réactifs. »
« Et ce n’est pas ce dont vous avez besoin pour un comportement intelligent ».
Au contraire, a déclaré LeCun, « si vous voulez un comportement intelligent, vous avez besoin d’un système capable d’anticiper l’effet de ses propres actions », ainsi que d’avoir « une sorte de modèle interne du monde, un modèle mental de la façon dont le monde va changer à la suite de ses propres actions. »
L’été dernier, M. LeCun a rédigé un document de réflexion sur la nécessité de disposer de programmes dotés d’une capacité de planification, un sujet dont il a longuement discuté avec ZDNET en novembre.
Pour l’instant, la résurgence de la recherche et du développement des technologies de l’information dans les entreprises n’a pas encore conduit au résultat le plus précieux de la technologie, la productivité, a déclaré M. LeCun, mais cela pourrait arriver au cours de la prochaine décennie.
Citant les travaux du chercheur Erik Brynjolfsson du groupe Human-Centered Artificial Intelligence de l’université de Stanford, M. LeCun a fait remarquer que les économistes considèrent l’IA comme une « technologie à usage général », c’est-à-dire quelque chose qui « se diffusera lentement dans tous les secteurs de l’économie et de l’industrie et affectera fondamentalement l’ensemble de l’activité économique » par divers effets tels que la création de nouveaux emplois, le déplacement d’autres emplois, etc. et entraînera une augmentation de la productivité parce qu’elle favorise l’innovation. En d’autres termes, l’innovation qui s’appuie sur l’innovation est l’équivalent économique de la productivité.
« Ce qu’Eric, en particulier, a dit, c’est qu’au moins jusqu’à très récemment, nous n’avons pas observé d’augmentation de la productivité due à l’IA et, historiquement, il dit qu’il faut environ 15, 20 ans pour voir un effet mesurable sur la productivité d’une révolution technologique ».
« Donc, selon sa prédiction, cela va probablement se produire au cours des dix prochaines années. »
Selon M. LeCun, la résurgence de la R & D fondamentale en entreprise dans le domaine des technologies de l’information pourrait avoir une certaine pérennité étant donné son attrait pour les jeunes chercheurs.
« Un phénomène que nous avons observé est que les jeunes gens talentueux aspirent maintenant à devenir des chercheurs en IA parce que c’est la chose cool à faire, alors qu’auparavant, les mêmes personnes seraient allées dans la finance », a déclaré LeCun. « Il est préférable pour eux de se diriger vers la science, je pense ».
Source : « ZDNet.com »
Cliquez ici pour lire l’article depuis sa source.