Gary Marcus : pourquoi il est devenu le plus grand critique de l’IA

Peut-être avez-vous entendu parler du témoignage de Gary Marcus devant le Sénat en mai 2023, lorsqu’il s’est assis à côté de Sam Altman et a appelé à une réglementation stricte de la société d’Altman, OpenAI, ainsi que des autres entreprises technologiques qui se sont soudainement lancées dans l’IA générative. Peut-être avez-vous entendu certains de ses arguments sur Twitter avec Geoffrey Hinton et Yann LeCun, deux des soi-disant « parrains de l’IA ». D’une manière ou d’une autre, la plupart des personnes qui s’intéressent aujourd’hui à l’intelligence artificielle connaissent le nom de Gary Marcus et savent qu’il n’est pas satisfait de l’état actuel de l’IA.

Il expose pleinement ses préoccupations dans son nouveau livre, Apprivoiser la Silicon Valley : comment faire en sorte que l’IA travaille pour nouspublié aujourd’hui par MIT Press. Marcus passe en revue les dangers immédiats posés par l’IA générative, qui incluent des choses comme la désinformation produite en masse, la création facile de fausses pornographies et le vol de propriété intellectuelle créative pour former de nouveaux modèles (il n’inclut pas l’apocalypse de l’IA dans la liste des dangers, il n’est pas pessimiste). Il s’attaque également à la façon dont la Silicon Valley a manipulé l’opinion publique et la politique gouvernementale, et explique ses idées pour réguler les entreprises d’IA.

Marcus a étudié les sciences cognitives sous la direction du légendaire Steven Pinker, a été professeur à l’Université de New York pendant de nombreuses années et a cofondé deux sociétés d’IA, Geometric Intelligence et Robust.AI. Il s’est entretenu avec Spectre IEEE à propos de son cheminement jusqu’à ce point.

Quelle a été votre première introduction à l’IA ?

Gary MarcusBen Wong

Gary Marcus : J’ai commencé à coder à l’âge de huit ans. L’une des raisons pour lesquelles j’ai pu sauter les deux dernières années de lycée est que j’ai écrit un traducteur latin-anglais dans le langage de programmation Logo sur mon Commodore 64. À 16 ans, j’étais donc déjà à l’université et je travaillais sur l’IA et les sciences cognitives.

Vous étiez donc déjà intéressé par l’IA, mais vous avez étudié les sciences cognitives au premier cycle et pour votre doctorat au MIT.

Marcus : Si je me suis lancé dans les sciences cognitives, c’est en partie parce que je pensais que si je comprenais comment les gens pensent, cela pourrait conduire à de nouvelles approches de l’IA. Je pense que nous devons adopter une vision globale du fonctionnement de l’esprit humain si nous voulons créer une IA vraiment avancée. En tant que scientifique et philosophe, je dirais que nous ne savons toujours pas comment nous allons créer une intelligence artificielle générale ou même une IA générale digne de confiance. Mais nous n’avons pas réussi à le faire avec ces grands modèles statistiques, et nous leur avons donné une énorme chance. En gros, 75 milliards de dollars ont été dépensés pour l’IA générative, 100 milliards de dollars supplémentaires pour les voitures sans conducteur. Et aucun de ces deux projets n’a vraiment donné lieu à une IA stable à laquelle nous pouvons faire confiance. Nous ne savons pas avec certitude ce que nous devons faire, mais nous avons de très bonnes raisons de penser que le simple fait de faire évoluer les choses ne fonctionnera pas. L’approche actuelle se heurte sans cesse aux mêmes problèmes.

Quels sont, selon vous, les principaux problèmes auxquels il est confronté ?

Marcus : Le premier problème est celui des hallucinations. Ces systèmes mélangent beaucoup de mots et inventent des choses qui sont parfois vraies et parfois pas. Par exemple, dire que j’ai une poule domestique qui s’appelle Henrietta n’est pas vrai. Et ils le font souvent. Nous avons vu cela se produire, par exemple, chez des avocats qui rédigent des mémoires avec des arguments inventés.

Deuxièmement, leur raisonnement est très pauvre. Mes exemples préférés ces derniers temps sont ces problèmes de traversée de rivière où il y a un homme, un chou, un loup et une chèvre qui doivent traverser. Le système a beaucoup d’exemples mémorisés, mais il ne comprend pas vraiment ce qui se passe. Si vous lui donnez un problème plus simple, comme celui que Doug Hofstadter m’a envoyé, du genre : « Un homme et une femme ont un bateau et veulent traverser la rivière. Que font-ils ? » Il propose cette solution folle où l’homme traverse la rivière, laisse le bateau là-bas, revient à la nage, et quelque chose ou autre se produit.

Parfois, il apporte un chou, juste pour s’amuser.

Marcus : Il s’agit donc d’erreurs de raisonnement stupides, qui laissent clairement à désirer. Chaque fois que nous soulignons ces erreurs, quelqu’un dit : « Oui, mais nous allons obtenir plus de données. Nous allons régler le problème. » Eh bien, j’entends cela depuis près de 30 ans. Et même si des progrès ont été réalisés, les problèmes fondamentaux n’ont pas changé.

Revenons à 2014, lorsque vous avez fondé votre première entreprise d’IA, Geometric Intelligence. À cette époque, j’imagine que vous étiez plus optimiste quant à l’IA ?

Marcus : Oui, j’étais beaucoup plus optimiste. Je n’étais pas seulement plus optimiste sur le plan technique. J’étais également plus optimiste quant à l’utilisation de l’IA à des fins bénéfiques. L’IA était autrefois perçue comme une petite communauté de chercheurs qui souhaitaient vraiment aider le monde.

Alors, à quel moment la désillusion et le doute sont-ils apparus ?

Marcus : En 2018, je pensais déjà que le deep learning était surfait. Cette année-là, j’avais écrit un article intitulé « Deep Learning, a Critical Appraisal », que Yann LeCun avait vraiment détesté à l’époque. Je n’étais déjà pas satisfait de cette approche et je ne pensais pas qu’elle avait de chances de réussir. Mais ce n’est pas la même chose que d’être désillusionné, n’est-ce pas ?

Puis, lorsque les grands modèles de langage sont devenus populaires [around 2019]j’ai immédiatement pensé que c’était une mauvaise idée. Je pensais simplement que c’était la mauvaise façon d’aborder l’IA d’un point de vue philosophique et technique. Et il est devenu clair que les médias et certaines personnes du domaine de l’apprentissage automatique se laissaient séduire par le battage médiatique. Cela m’a dérangé. J’ai donc écrit des articles sur GPT-3 [an early version of OpenAI’s large language model] J’étais un artiste du bullshit en 2020. En tant que scientifique, j’étais assez déçu par le domaine à ce moment-là. Et puis les choses ont empiré lorsque ChatGPT est sorti en 2022, et la plupart du monde a perdu toute perspective. J’ai commencé à m’inquiéter de plus en plus de la désinformation et de la façon dont les grands modèles linguistiques allaient la potentialiser.

Vous vous inquiétez non seulement des startups, mais aussi des grandes entreprises technologiques bien établies qui ont sauté dans le train de l’IA générative, n’est-ce pas ? Comme Microsoft, qui s’est associé à OpenAI ?

Marcus : La goutte d’eau qui m’a fait passer de la recherche en IA à la politique, c’est quand il est devenu évident que Microsoft allait aller de l’avant quoi qu’il arrive. C’était très différent de 2016, quand ils ont publié [an early chatbot named] Tay. C’était mauvais, ils l’ont retiré du marché 12 heures plus tard, puis Brad Smith a écrit un livre sur l’IA responsable et ce qu’ils en avaient appris. Mais à la fin du mois de février 2023, il était clair que Microsoft avait vraiment changé sa façon de penser à ce sujet. Et puis ils ont sorti ce ridicule article « Sparks of AGI », qui, je pense, a été le summum du battage médiatique. Et ils n’ont pas fait tomber Sydney après la folle conversation avec Kevin Roose où [the chatbot] Sydney lui a conseillé de divorcer et tout ça. J’ai alors compris que l’ambiance et les valeurs de la Silicon Valley avaient vraiment changé, et pas dans le bon sens.

J’ai également été déçu par le gouvernement américain. Je pense que l’administration Biden a fait du bon travail avec son décret exécutif. Mais il est devenu clair que le Sénat n’allait pas prendre les mesures nécessaires. J’ai pris la parole devant le Sénat en mai 2023. À l’époque, j’avais l’impression que les deux partis reconnaissaient que nous ne pouvions pas simplement laisser tout cela à l’autorégulation. Et puis j’ai été déçu [with Congress] au cours de l’année dernière, et c’est ce qui m’a conduit à écrire ce livre.

Vous parlez beaucoup des risques inhérents à la technologie d’IA générative actuelle. Mais vous dites aussi que « cela ne fonctionne pas très bien ». Ces deux points de vue sont-ils cohérents ?

Marcus : Il y avait un titre : « Gary Marcus avait l’habitude de dire que l’IA était stupide, maintenant il la dit dangereuse. » L’implication était que ces deux choses ne peuvent pas coexister. Mais en fait, elles coexistent. Je pense toujours que l’IA de génération est stupide, et qu’on ne peut certainement pas lui faire confiance ou compter dessus. Et pourtant, elle est dangereuse. Et une partie du danger vient en fait de sa stupidité. Ainsi, par exemple, elle n’est pas bien ancrée dans le monde, il est donc facile pour un mauvais acteur de la manipuler pour qu’elle dise toutes sortes de conneries. Maintenant, il pourrait y avoir une future IA qui pourrait être dangereuse pour une autre raison, parce qu’elle est si intelligente et rusée qu’elle surpasse les humains. Mais ce n’est pas le cas actuellement.

Vous avez déclaré que l’IA générative était une bulle qui allait bientôt éclater. Pourquoi pensez-vous cela ?

Marcus : Soyons clairs : je ne pense pas que l’IA générative va disparaître. Pour certains usages, c’est une bonne méthode. Vous voulez créer une saisie semi-automatique, c’est la meilleure méthode jamais inventée. Mais il y a une bulle financière parce que les gens valorisent les entreprises d’IA comme si elles allaient résoudre le problème de l’intelligence artificielle générale. À mon avis, ce n’est pas réaliste. Je ne pense pas que nous soyons près de l’AGI. Alors, on se retrouve avec la question : « Ok, que peut-on faire avec l’IA générative ? »

L’année dernière, Sam Altman était un excellent vendeur, et tout le monde rêvait que nous allions avoir l’IA générale et que nous pourrions utiliser cet outil dans tous les aspects de chaque entreprise. Et tout un tas d’entreprises ont dépensé beaucoup d’argent pour tester l’IA générative sur toutes sortes de choses différentes. Elles ont donc passé l’année 2023 à faire cela. Et puis, en 2024, on a vu des rapports dans lesquels des chercheurs se sont adressés aux utilisateurs de Copilot de Microsoft – pas l’outil de codage, mais l’outil d’IA plus général – et ils ont dit : « Ouais, ça ne marche pas vraiment bien. » Il y a eu beaucoup de critiques de ce genre l’année dernière.

En réalité, les entreprises d’IA de génération perdent de l’argent. OpenAI a enregistré une perte d’exploitation d’environ 5 milliards de dollars l’année dernière. Vous pouvez peut-être vendre pour 2 milliards de dollars d’IA de génération à des personnes qui expérimentent. Mais à moins qu’elles l’adoptent de manière permanente et vous versent beaucoup plus d’argent, cela ne fonctionnera pas. J’ai commencé à appeler OpenAI le possible WeWork de l’IA après qu’elle ait été valorisée à 86 milliards de dollars. Le calcul n’avait aucun sens pour moi.

Qu’est-ce queEst-ce qu’il faudrait que tu sois convaincu que tu as tort ? Quel serait le moment qui te ferait tourner la tête ?

Marcus : Eh bien, j’ai avancé de nombreuses affirmations différentes, et toutes pourraient être fausses. Sur le plan technique, si quelqu’un pouvait obtenir un modèle de langage pur et large qui ne provoque pas d’hallucinations et qui raisonne de manière fiable tout le temps, je me tromperais sur cette affirmation fondamentale que j’ai faite sur la façon dont ces choses fonctionnent. Ce serait donc une façon de me réfuter. Cela n’est pas encore arrivé, mais c’est au moins logiquement possible.

Sur le plan financier, je pourrais facilement me tromper. Mais le problème avec les bulles, c’est qu’elles sont surtout une question de psychologie. Est-ce que je pense que le marché est rationnel ? Non. Donc même si ces produits ne rapportent pas d’argent au cours des cinq prochaines années, les gens pourraient continuer à y investir de l’argent.

Le Sénat américain est celui qui me prouverait le contraire. Ils pourraient se ressaisir, n’est-ce pas ? Je me dis partout : « Ils n’avancent pas assez vite », mais j’aimerais bien qu’on me prouve le contraire. Dans mon livre, j’ai dressé une liste des 12 plus grands risques de l’IA générative. Si le Sénat avait adopté un texte qui aborde réellement ces 12 risques, mon cynisme aurait été mal compris. J’aurais eu l’impression d’avoir perdu une année à écrire ce livre, et j’en serais très, très heureux.