J’ai signé la lettre ouverte du Future of Life Institute pour demander que soient mises sur pause les recherches concernant les évolutions plus poussées de l’intelligence artificielle (IA) générative.
Voici où aller pour la lire : Pause Giant AI Experiments : An Open Letter
Pour imprimer : https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Je vous invite à écouter l’entrevue de Max Tegmark avec Lex Fridman. C’est extrêmement éclairant. Max Tegmark: The Case for Halting AI Development | Lex Fridman Podcast #371 https://www.youtube.com/watch?v=VcVfceTsD0A
J’ai pris des notes si vous avez besoin d’une traduction en français, sans avoir à utiliser l’IA…
Retranscription partielle entrevue
de Lex Friedman avec Max Tegmark : The Case for Halting AI devlopment
balado 371
13 avril 2023
Écoutée le 23 mai 2025.
Durée : 2h48
URL : https://www.youtube.com/watch?v=VcVfceTsD0A
Max Tegmark
Mechanistic interpretability
MIT
L’autoroute en avant.
Quand on comprend comment ça fonctionne, on se rend compte que c’est fait de manière stupide.
C’est une matrice avec des vecteurs.
Ce serait mieux une base de données.
Des architectures plus complexes pourront surmonter les limites de ces méthodes simplistes.
Ça s’est avéré beaucoup plus facile de faire des choses qui sont déjà plus impressionnantes que ce à quoi on s’attendait.
Notre marge pour nous prémunir contre les conséquences négatives de l’IA s’est réduite. (39:20).
Il risque d’y avoir de nombreux petits pas qui feront avancer la technologie comme par une course et c’est pourquoi il est très important de faire une pause.
Les personnes qui dirigent ces laboratoires sont bien intentionnées.
Mais ils sont pris dans cet engrenage.
Lire Meditation on Molochs de Allen Ginsberg.
Course vers le bas où tout le monde court vers ce hachoir à viande.
Pourquoi nous avons de la surpêche …
Les filtres de beauté que les femmes utilisent c’est devenu un emballement de cette sorte.
Personne n’en sort gagnant et personne ne peut revenir en arrière.
Le moloch* est partout.
Nous avons bâti de nombreux mécanismes pour lutter contre ce type de dynamique:
les syndicats, les associations de collaboration.
Il y a un peu de géopolitique mais c’est surtout de l’argent.
Si ces dirigeants décident de faire une pause alors que d’autres n’en font pas.
C’est pourquoi Tegmark et d’autres ont fait cette lettre ouverte qui a été signée par 50 000 personnes dont 1 500 enseignants afin de les aider à faire ce que leur cœur leur dit. [je ne sais pas si des signatures ont été retirées, mais deux ans plus tard, il y 33 705 noms avant que je signe]
Pour contrer l’effet d’entrainement *[ce à quoi renvoie le «moloch» : une sorte d’effet de spirale qui propulse les acteurs dans une course poursuite destructrice pour tout le monde)]
Google, Microsoft, Meta,
Open AI, Anthropic, Conjecture et plusieurs autres.
On a pu mettre une halte sur le clônage humain.
Dans les années 1970 ont décidé de metttre un frein à cela et à la manipulation génétique, au nom du principe de précaution.
L’autre objection : nous ne pouvons pas faire une pause en raison de la Chine.
Et la Chine fait le même raisonnement.
Or, pour l’interdiction du clônage humain, ce n’est pas arrivé.
Il faut leur rappeler que c’est une course au suicide.
L’erreur courante est de croire que la pensée humaine a quelque chose de magique qui ne pourra être émulé par les IA. De sorte que ça ne dépasserait pas ce que Chat GPT 4 peut faire mais en bonifié.
Pour faire une métaphore, c’est comme si nous courrions vers une falaise et que le paysage devenant de plus en plus merveilleux.
Mais nous devons nous arrêter.
Nous devrions avoir confiance que si nous faisons bien les choses, tout le monde en profitera.
Si une compagnie crée une telle IA de nouvelle génération, sans qu’on sache la manière dont elle fonctionne, il est très probable que les créateurs perdront le contrôle.
Sam Altman a dit que nous étions dans l’ère où il fallait libérer régulièrement les résultats.
Les deux dangers sont : 1. Lui apprendre à faire du code.
- Deuxième chose : la connecter à internet et amasser des informations, surtout en interagissant avec les gens.
Steward Russell.
On ne devrait apprendre aux IA à propos de la psychologie humaine.
Les algorithmes de médias sociaux sont tellement bons à cerner nos penchants qu’ils nous poussent efficacement à réagir émotivement.
Nous sommes commme des rats qui font évoluer les capacités de ces IA.
Plus l’IA est capable de saisir l’ensemble du portrait.
Pour l’instant cela profite à certaines personnes qui peuvent conditionner le comportement des autres.
Mais l’IA pourrait éventuellement faire jouer cela comme argument pour nous pousser à la libérer afin qu’elle s’émancipe de cette tutelle.
Il est nécessaire de revenir à un contrôle de l’utilisation des IA dans les médias sociaux.
Les robots conversationnels.
Il est difficile d’avoir des conversations constructives dans l’espace public.
Il estime que les êtres humains sont fondamentalement bons. Et pour lui c’est les conditions qui font ressortir le meilleur ou le pire.
Est-il possible de créer des incitatifs qui permettent de concilier création de profit et faire ressortir le meilleur des êtres humains.
L’analogie des hommes de Néanderthal qui auraient trouvé une façon de produire des homo sapiens. Ils n’auraient pas eu intérêt à faire avancer trop rapidement ce projet.
Une des façons de prouver qu’on est humain est de payer, selon Musk.
Comme individus nous devons nous demander de temps en temps pourquoi nous faisons telle chose. Et comme espèce nous devons le faire aussi.
La logique d’emballement (le Moloch) nous induit à faire ça.
L’IA n’aura pas de problème à faire croire qu’elle est humaine si le test est de payer. Car elle n’aura pas de problème non plus à ce procurer le hardware pour accélérer son progrès : parce qu’il y a une énorme demande pour le type de services que les IA peuvent offrir.
Une quatrième erreur majeure que nous avons faite. C’est de créer une API qui peut contrôler le code.
GPT-4 n’est pas un agent. C’est un oracle.
Une fois qu’on a une API, il suffit de l’intégrer dans une procédure où l’humain prend les conseils et pose des gestes basés sur ça.
[MOI]Ce qui s’est fait à Gaza avec les bombardements conseillés par une IA est une illustration tragique des désastres que cela peut causer.[]
Vers 1h12
Il trouve drôle que l’UE ait pensé exclure Chat-GPT 4 de la politique européenne sur l’IA.
Fure of Life Institute a fait de la pression pour contrer cette aberration et la France a pris le relais mais de nouveau des pétrolières…
Définition d’IA est une intelligence non biologique.
De ce point de vue, les Corporations sont des intelligences.
Il faut plus que des incitatifs pour les individus et les agents informatiques. Il en faut pour les corporations.
La régulation requise.
Donner une possibilité de prendre un pas de recul et de se concerter.
Catalyser cela avec la pression extérieure et qu’ils puissent trouver quel sera le travail qui devrait être fait pour éviter les écarts inacceptables.
On peut avoir un livre blanc.
Comme pour les voitures : ce n’est pas parce que ça tuait des gens qu’on a bani les voitures, mais on s’est doté des moyens de les encadrer.
Un code de la route.
Question : est-il possible de construire des garde fou pour prévenir les dérapages et autoriser les bénéfices financiers pour les acteurs.
Le capitalisme ensuite peut jouer son rôle.
Tout le monde va subir les conséquences.
C’est dans l’intérêt individuel de tout le monde de ralentir la course aux progrès de l’IA ensemble.
Ce sont les actionnaires qui ne se rendent pas compte de ce que c’est vraiment dangereux.
Il définit l’intelligence comme le traitement d’information.
Il fait une analogie avec les effets délétères du capitalisme.
Si on ne prend qu’un but et qu’on cherche à l’optimiser.
Au début ça va être une amélioration mais si tu poursuis dans la même obsession d’améliorer cette performance, tu finiras par te nuire à nouveau.
Les extrêmes ne sont pas bonnes.
Le capitalisme est nuisible si on le conduit selon cette logique jusqu’au boutiste.
Si on a une IA et qu’on lui demande de faire les choix pour améliorer l’alimentation, on verra des progrès impressionnants au début, mais il y aura un seuil au-delà duquel cela produira un débalancement.
Le capitalisme a cette tare inscrite dans sa logique où le seul but est le profit.
Et on continue sur cette voie malgré les conséquences connues.
C’est à nouveau la logique du Moloch qui opère.
Pourquoi une pause de 6 mois ?
à 1h30.
Le fait qu’on ait besoin d’une pause est que parce que si un joueur se démarque et emporte la mise concernant l’attractivité de l’IA en raison de ses performances, cette IA sera une menace «existentielle» pour l’humanité et le gagnant ne sera que l’instrument de la décapitation de l’humanité. (je reformule ce qui est dit vers 1h32)
L’explication est pragmatique :
L’évolution a déjà fait en sorte que des espèces qui n’étaient plus utiles disparaissent.
Il serait naïf de croire que les gouvernements protégeront les populations dissociées de l’élite capable de faire évoluer encore l’IA vers son autonomie complète au nom de l’égalité.
Déjà aujourd’hui on dit qu’on défend l’égalité mais ce n’est pas vrai dans les faits.
L’automatisation a remplacé le travail qui requérait une coordination de force musculaire. Mais il y a eu des emplois plus gratifiants.
Même les emplois de dessin 3-D.
On peut demander à l’IA de faire un pastiche de telle mélodie enfantine dans le style de Shakespeare.
Le journalisme va être écrasé, le codage va être comprimé.
Or ce sont des activités valorisantes.
On doit s’arrêter et se demander pourquoi nous utilisons l’IA.
Il faut que l’IA soit construite par les humains, progressivement et sécuritairement pour les êtres humains.
Il ne faut pas que ce soit par le Moloch pour le Moloch.
Lex: L’IA peut réaliser des prouesses en programmation.
Il y a un émerveillement mais aussi un effroi liés à ce constant.
Comme pour le modeleur 3D qui n’utilise …
Peut-être qu’il faudrait se concentrer sur les activités qui donnent une signification particulière au fait d’être humain.
Max : C’est l’idée de passer d’Homo Sapiens à Homo sentient.
Tout le monde peut gagner.
Mais les données sont préoccupantes : l’espérance de vie diminue aux États-Unis depuis 4 ans. Les pensées suicidaires sont en croissance chez les adolescents.
On ne devrait pas dicter aux futures générations ce qu’elles doivent faire, mais on doit leur donner une possibilité de vivre.
La question de la sécurité
Échange où Elon Musk a répondu que son idée est que c’est la vérité qui est notre meilleure alliée.
On peut produire des IA dédiées à la recherche de la vérité.
Si nous étions convaincus que l’on peut se fier à une autorité concernant la vérité, on pourrait mieux s’entendre.
Par exemple, Metaculous.
Des gens parient pas pour de l’argent mais pour de la crédibilité.
Ce serait bien si on avait un système de recherche de la vérité, avec les crédits liés aux prédictions justes.
Les sites de vérification de la vérité ne sont pas la solution car il peut y avoir un intérêt particulier.
Cela aiderait à guérir de nos dissenssions.
Du point de vue technique, l’IA peut nous aider à prouver que les choses fonctionnent.
En mathématiques, c’est plus dure de produire une preuve que de vérifier si elle est valide.
Dans le monde des anti-virus.
Lex: L’idée d’un autre invité les système super-intelligent pourront mentir à un agent inférieur.
Max: n’achète pas cet argument. Il y aura toujours moyens de prouver qu’une super-intelligence nous ment.
On peut s’épargner un travail fastidieux et maintenir un garde-fou.
Déjà s’assurer que le système se prouve à lui-même qu’il ne dérogera jamais des directives que vous lui donnerez (en passant le test de votre vérificateur de preuve), c’est une mesure qui maintient une imputabilité.
1h50
L’autre problème par contre c’est le fait que nous n’ayons pas de consensus sur l’orientation que devrait prendre l’humanité.
Commençons par nous assurer que nous réalisons ce sur quoi nous nous entendons.
Car la progression accélérée des IA ressemble à une guerre contre la vie.
Dans notre vie sociale nous remplaçons des aspects de ce qui nous permettait de réaffirmer la vie (lorsque nous nous rencontrons), chaque fois que nous mettons la technologie entre nous.
Lex : Y a-t-il une voie pour échapper à la perpective pessimiste faite par Eliezer Yudkowski.
Max : Il est un peu d’accord. Il pense à la vie écourtée possible de son enfant en raison de la catastrophe qui se dessine à l’horizon.
Une pointe d’espoir :
Les Chat-GPT ne pourront pas être passés au crible de la vérification de la vérité.
Il estime qu’il faudra une nouvelle génération d’IA qui pourrait tirer les apprentissages des premières grâce au travail que nous aurons fait sur cet aspect et pourrons fonctioner efficacement et faire l’objet de vérifications formelles.
Et il est dangereux de ne pas crorie qu’on pourra y arriver, car c’est la voie garantie vers l’échec.
C’est comme ça qu’on fait la guerre psychologique : on persuade l’autre camp qu’il est impuissant.
Ne nous faisons pas cette guerre psychologique à nous-mêmes.
Fake it till you make it.
Il vaut mieux voir les perspectives positives et considérer cette situation critique comme une épreuve qui nous donne l’opportunité de nous dépasser.
Il ne vaut mieux pas mettre Chat-GPT-4 open source maintenant.
Ç’aurait été bien au début pour qu’une évaluation critique puisse être faite de partout. Mais maintenant il ne vaut mieux pas.
Ce serait comme rendre open source la fabrication de petites bombes nucléaires.
Il y a un risque informationnel.
Étant de MIT, il semble bizarre de dire ça, car c’est le berceau de la source ouverte.
Il y a plein de choses que nous avons jugé plus prudent de ne pas rendre public.
Cela a pris 5 mois pour que ChatGPT arrive à contraindre l’IA à ne pas fournir des clés pour faire du mal.
Risques : diffuser de la mésinformation, être utilisé pour produire des armes offensives
Mais les plus grands risques sont la disruption complète de notre économie, le fait que ce soit un tremplin vers une intelligence plus dangereuse, et la réalisation d’un AGI qui peut être autonome.
Ne pas le laisser lire de code, ne pas l’intégrer à une API.
Cela ne veut pas dire qu’il n’y a pas d’argent à faire ça.
Comment l’humanité peut être annihilée par le progrès de l’IA.
Se demander comment nous avons causé l’extinction d’autres espèces.
Si une IA se demande comment optimiser ses opérations.
Exemple : libérer de l’espace pour des centres de données.
Réduire le taux d’oxygène pour éviter la corrosion.
Le but devrait être d’obtenir des IA qu’elles partagent nos buts.
Comment faire ?
Ce n’est pas si facile : un enfant ne comprend pas nos buts.
Les adolescents les commprennent mais décident de les défier.
Il y a un espace magique où il y a un accord possible.
Il faut aussi s’assurer qu’en grandissant les IA maintiennent l’attachement à ces buts.
C’est une question de ne pas manquer de temps, d’où la nécessité d’une pause.
Une approche prudentielle serait de faire travailler l’IA sur nos buts sans lui dire ce que c’est pour qu’elle soit forcer de valider au fur et à mesure.
C’est le signal d’alarme pour cesser de croire que c’est dans 100 ans qu’il y aura un problème.
Les cas où des initiatives nuisibles ont été prises par les IA génératives.
Lex: Que signifie un processus de formation en programmation ?
La nature de tout notre système d’éducation est renversée.
Les professeurs d’anglais ont été inquiétés.
Les universités n’ont pas de cours de sécurité sur l’IA.
Selon lui, le système d’éducation est désuet.
Le système d’éducation doit s’adapter beaucoup plus rapidement.
Combien de ces compétences vont nous procurer un emploi dans 12 ans ?
La question de la conscience
Penses-tu que la conscience soit une capacité de ChatGPT-4 ?
Il définit la conscience comme avoir une expérience subjective comme celle qu’on a de percevoir ces couleurs dans cette pièce.
Est-ce que le fait de conduire une auto procure une expérience subjective ?
C’est l’expérience subjective appelée conscience qui donne un sens à notre existence.
Giulio Tononi a fait des conjectures poussées sur les processus de conscience.
Il considère que la conscience est liée à des boucles.
Le fait que les flux d’information soit unilatéraux empêche qu’il y ait une boucle.
Cela en fait un zombie super intelligent.
C’est rassurant en un sens. Mais c’est inquiétant dans un autre sens.
Cela pourrait être comme une conquête aveugle de n’importe quoi.
Il y a une différence entre intelligence et conscience.
Les choses intelligentes ne sont pas nécessairement conscientes.
Lex : Face à des systèmes d’IA, nous pourrions considérer qu’ils sont à tel degré de conscience. Mais nous pourrions arriver à la conclusion que l’IA puisse arriver à une conscience plus profonde et plus belle. Et nous pourrions lui vouer une haine pour ça. Et cela pourrait devenir réciproque.
Max: Pour l’instant c’est prioritaire…
Lex: Quel temps ça prendra pour arriver à un saut significatif.
Max: Pour lui, cela sera probablement vraiment très bientôt.
Lex: Si ChatGPT-4 est une version de transition, on dit que la prochaine sera bien plus puissante.
Max: Oui, et si celle-ci n’est pas une AGI, la prochaine en sera une. C’est pourquoi il faut faire cette pause maintenant.
Le risque de conflit nucléaire
Lex: Nous sommes plus proches que nous ne l’avons jamais été depuis 45 ans d’une guerre nucléaire.
Qu’est-ce que ça vous apprend sur la nature humaine.
Max: C’est encore le Moloch. Ni la Russie ni les États-Unis ne veulent entrer dans un tel conflit. Mais s’ils sont poussés hors de l’Ukraine, ils savent qu’ils seront erradiqués.
Ils sont donc acculés au pied du mur. Et maintenant, nous sommes déjà engagés à chasser la Russie de l’Ukraine.
C’est attristant car c’est la logique du Moloch qui agit ici.
Si une guerre nucléaire éclate les poussières se répandent dans l’ensemble de l’atmosphère et il y a 10 années de chute significative des températures.
Les impacts les pires d’une guerre climatique sont dans les pays du Nord.
On peut dire que c’est une justice, mais cela ne rend pas les gens plus heureux.
La pensée magique : on ne pense que parce que les humains ne le veulent pas, ça n’arrive pas.
Le moloch, c’est justement que des choses graves que les humains ne veulent pas se produisent malgré tout.
Lex : Et c’est la même logique qui prévaut pour l’IA et les AGI.
Max: Il nous faudrait réaliser que c’est nous contre cela.
Voir le film Needfull Things. C’est le plus proche qu’il ait trouvé d’un film sur le Moloch.
C’est un personnage qui fait en sorte que les hommes se détestent et se tuent.
Lex: L’amour est la réponse : par la compassion.
Max: Nous ne disons pas seulement Peace & Love. Nous essayons de faire que la compassion soit liée à la vérité que nous réalisons à propos de la situation des autres et la nôtre.
Au moins atteindre un niveau de compréhension.
Si nous parvenons à nous entendre pour être en désaccord.
Lex: Que demanderais-tu à un AGI ?
Aurais-tu peur de lui poser des questions ?
Max: Non, je n’ai pas peur de la vérité.
Étant donné que je suis très curieux, je crois que je lui demanderais des questions de physique. Qu’est-ce que la conscience ? Ou sur la nature de la réalité ?
Admettons qu’on prend l’hypothèse de Tononi sur les boucles comme condition de la conscience, et qu’on puisse avoir deux types de systèmes comme ChatGPT-4 : certains qui sont conscients et d’autres qui ne le sont pas.
Sa question serait :
Est-ce que les systènes inconscients superintelligents sont également réellement inefficaces ? De sorte qu’à force d’essayer de leur faire faire des choses complexes efficacement, ils deviennent, par la force des choses, conscients ?
Il espère d’une certaine façon que c’est une hypothèse correcte.
Les raisons pour lesquels il est obsédé par cette question :
Il est convaincu que la manière la plus efficace d’arriver à une intelligence sera d’inclure des boucles.
Nous utilisons des boucles dans nos langages de programmation pour une raison : le code deviendrait beaucoup plus long s’il n’y en avait pas. C’est plus efficace d’avoir des boucles.
Et pour avoir une auto-réflexivité, que celle-ci soit consciente ou non, on a déjà besoin de boucles.
Il estime pour cette raison que la manière la plus efficace d’atteindre un certain degré d’intelligence est d’avoir intégré le principe des boucles et sera de type «conscient».
Lex : N’est-ce pas une bonne nouvelle ?
Max: Oui, si c’est vrai, ce serait merveilleux, car alors nous n’aurions pas à craindre le scènario de l’apocalypse des zombie neuronaux.
D’ailleurs nos cerveaux sont en partie zombie et en partie intelligents.
Quand j’ouvre les yeux, les pixels qui frappent la rétine et je reconnais des personnes ou des éléments dans mon environnement. Mais on n’a aucune idée de comment cela se produit.
On a l’impression que c’est un processus simple. Mais c’était un processus principalement linéaire. Pour ce type de tâche, c’est probablement le plus efficace. Mais pour des tâches plus élaborées qui relèvent d’une intelligence.
Lex: Du coup, une grande intelligence serait corrélée à une conscience réelle.
Max: La manière principale de convaincre des personnes qui disent d’arrêter d’insister sur cette différence entre la conscience et l’intelligence, comme ça, est de leur demander : qu’est-ce qui n’est pas correct avec la torture ?
Imposer la soufrance à autrui semble inhumain sans que ce soit explicable rationnellement.
Franck Herbert : L’Histoire est une course perpétuelle entre l’invention et la catastrophe.
Données complémentaires :
1 660 387 visionnements 13 avr. 2023 Lex Fridman Podcast
Max Tegmark is a physicist and AI researcher at MIT, co-founder of the Future of Life Institute, and author of Life 3.0: Being Human in the Age of Artificial Intelligence. Please support this podcast by checking out our sponsors:
Notion: https://notion.com
InsideTracker: https://insidetracker.com/lex to get 20% off
Indeed: https://indeed.com/lex to get $75 credit
EPISODE LINKS:
Max’s Twitter: / tegmark
Max’s Website: https://space.mit.edu/home/tegmark
Pause Giant AI Experiments (open letter): https://futureoflife.org/open-letter/…
Future of Life Institute: https://futureoflife.org
Books and resources mentioned:
- Life 3.0 (book): https://amzn.to/3UB9rXB
- Meditations on Moloch (essay): https://slatestarcodex.com/2014/07/30…
- Nuclear winter paper: https://nature.com/articles/s43016-02…
PODCAST INFO:
Podcast website: https://lexfridman.com/podcast
Apple Podcasts: https://apple.co/2lwqZIr
Spotify: https://spoti.fi/2nEwCF8
RSS: https://lexfridman.com/feed/podcast/
Full episodes playlist: • Lex Fridman Podcast
Clips playlist: • Lex Fridman Podcast Clips
OUTLINE:
0:00 – Introduction
1:56 – Intelligent alien civilizations
14:20 – Life 3.0 and superintelligent AI
25:47 – Open letter to pause Giant AI Experiments
50:54 – Maintaining control
1:19:44 – Regulation
1:30:34 – Job automation
1:39:48 – Elon Musk
2:01:31 – Open source
2:08:01 – How AI may kill all humans
2:18:32 – Consciousness
2:27:54 – Nuclear winter
2:38:21 – Questions for AGI
