Journal Le Rationalisme

J’aimerais vous présenter le mouvement/la sphère dite "rationaliste".

Pourquoi ? Deux raisons :

1. C’est probablement l’élément le plus important/structurant de la personne que je suis actuellement ; autrement dit : sans les Séquences, je serai probablement quelqu’un d’autre, et très certainement pour le pire (y compris du point de vue du moi contrefactuel, qui préférerai être le moi actuel). Je sais également que le moi pré-Séquences aimerait être introduit aux Séquences ; et que sociologiquement, il est très probable qu’il y ait des lecteurs sur ce site très proches du moi-pré-Séquences. Ma timidité naturelle m’a empêché jusqu’ici de partager quelque chose que je considère aussi personnel, mais je considère de plus en plus cette timidité comme de la lâcheté.

2. Au delà de ces considérations personnelles, des débats importants vont bientôt arriver à vos oreilles concernant l’IA (enfin, espérons le du moins). Plus précisément, la conjonction de deux choses : les plus grands acteurs du domaine (OpenAI, Anthropic et DeepMind) s’attendent à atteindre une IA de niveau humain d’ici 2 à 5 ans (source), et il existe de grandes inquiétudes que les risques associés soient catastrophiques (“Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war” / « L'atténuation du risque d'extinction par l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle de la société comme les pandémies et la guerre nucléaire. » source). Ceci n’est pas en soi le sujet de ce journal, mais il est à noter que le mouvement rationaliste est historiquement central sur cette prise de position : Eliezer Yudkowsky a principalement cet objectif en tête (expliquer les risques existentiels liés à l’IA) lorsqu’il écrit les Séquences. Si cette dernière phrase vous semble cryptique ("hein ? qui a écrit quoi ? je suis censé comprendre ?"), ne vous inquiétez pas : l’objectif de ce journal est justement (entre autre) d’expliquer ce qui, ce quoi, ainsi que quand et où.

Avant d’entrer dans le sujet, je vais me permettre de mettre mes (auto-censuré) sur la table et de renommer le mouvement. Pourquoi ? Parce le terme "rationalisme" est objectivement mal choisi, la quasi-totalité des rationalistes anglophones se lamentent que le terme est mal choisi, Yudkowsky se lamente que le terme est mal choisi, mais qu’il est trop tard pour changer. Vu à quel point le terme est méconnu en France, il n’est pas trop tard pour nous francophones ! Je vais donc suggérer ce terme pour désigner le mouvement et la philosophie : Ukemisme Cognitif/Mental/Intellectuel (je ne suis pas encore bien fixé sur le suffixe, mais comme je ne compte pas l’utiliser, ce n’est pas important), les pratiquants étant des Ukemistes.

Pour l’introduction, je vais citer Eric Raymond, normalement bien connu en ces lieux, dans son article décrivant la préhistoire du mouvement Ukemiste aux Ukemistes :

I was a bright geeky kid in the 1960s and 1970s, immersed in a lot of obscure topics often with an implicit common theme: intelligence can save us! Learning how to think more clearly can make us better! But at the beginning I was groping as if in a dense fog, unclear about how to turn that belief into actionable advice.

J’étais un enfant brillant et geek dans les années 1960 et 1970, plongé dans de nombreux sujets obscurs qui avaient souvent un thème commun implicite : l'intelligence peut nous sauver ! Apprendre à penser plus clairement peut nous rendre meilleurs ! Mais au début, je tâtonnais comme dans un épais brouillard, ne sachant pas comment transformer cette conviction en conseils pratiques.

Qui, en deux phrases, combine les bases sociologiques et philosophique importantes de l’Ukemisme :

• La recherche de la vérité en tant qu’objectif personnel, la quête des philosophes depuis l’antiquité.

• Implicite dans cette citation, mais extrêmement importante : une clarté nouvellement gagnée dans cette quête.

Quelles sont les bases de cette nouvelle clarté ? Essentiellement, l’intégration de deux éléments relativement récents en tant qu’outils de cette quête multimillénaire :

1. La recherche en psychologie sur les Biais Cognitifs (deux noms incontournables: Tversky et Kahneman). Quels biais affectent négativement mon raisonnement ? Comment m’affectent-ils ? Puis-je développer des techniques, des habitudes, pour les identifier et les corriger ?

2. La Théorie des Probabilités en tant que base fondamentale de l’épistémologie. De la même manière que le moteur idéalisé qu’est le moteur de Carnot et par extension la Thermodynamique ont fourni un mètre-étalon extrêmement précieux pour une génération d’inventeurs et d’ingénieurs lors de la Révolution Industrielle, la théorie bayésienne des probabilités nous donne un mètre-étalon de ce qu’est un raisonneur idéal, pour cette nouvelle génération d’Ukemistes. Les noms qui reviennent ici sont E. T. Jaynes et Richard Cox. Si Les Séquences sont le Nouveau Testament de l’Ukemisme, alors Probability Theory : The Logic of Science est clairement l’Ancien Testament.

Les ingrédients sont ici, la scène est posée : de nouveaux outils sont apparus pour une très ancienne tâche, et ont l’air a priori très prometteurs. Tout est prêt pour la synthèse. C’est Eliezer Yudkowsky qui se retrousse les manches et s’en charge. L’aventure commence sur le blog d’un physicien-reconverti-économiste, Robin Hanson, sur lequel Yudokwsky commence en tant qu’invité à populariser la recherche sur les biais cognitifs, et les implications épistémologiques. Le projet suscite rapidement de l’intérêt (principalement parmi des étudiants curieux) et se détache du blog personnel de Robin Hanson, pour fonder LessWrong.

Les mois et années suivantes, Yudkowsky s’acharne à mettre sur papier (virtuel) les fondements du projet. Le résultat direct ? Aujourd’hui, pas loin du millier de blog posts. Un premier travail de réarrangement, réorganisation, et de coupes légères donne Les Séquences ; un second travail avec des coupes bien plus franches donne Rationality: From AI to Zombies (non, je ne m’essaierai pas à traduire ce titre, déjà trop piteusement choisi en version originelle à mon goût). Yudkowsky se lance ensuite dans la vulgarisation sous la forme d’une fanfiction Harry Potter, Harry Potter et les Méthodes de de la Rationalité, qui rencontre un certain succès (et son lot de moqueries : Harry Potter ? N’est-ce pas embarrassant ?). Parallèlement, de nombreux contributeurs ajoutent leur pierre à l’édifice, citons par exemple :

• Yvain aka Scott Alexander, qui après ses débuts sur LessWrong lance son propre blog puis, après un certain incident avec le New York Times passe sur Substack. Citons notamment I Can Tolerate Anything Except The Outgroup, In Favor of Niceness, Community, and Civilization, The Control Group is Out of Control et All In All, Another Brick In The Motte (qui a popularisé l'expression "Motte and Baley"). Et je ne peux m'empêcher de vous partager quelques une de ses (nombreuses) œuvres de fiction : Ars Longa, Vita Brevis, Sort By Controversial, Samsara, Clarity didn't work, trying mysterianism et son plus connu Unsong (qui n'est pas ma tasse de thé, j'ai arrêté après deux chapitres ; mais impossible de citer l'auteur sans citer cette œuvre).

• Gwern Branwen. Citons entre autre, et principalement pour illustrer la variété de sujets auxquels il s'attaque : The Scaling Hypothesis, Commoditize Your Complement et Why Cats Love Earwax.

• Zvi Mowshowitz, qui s'est illustré pour avoir tenu une veille de longue haleine sur le sujet du COVID, puis a récemment pivoté sur l'IA. Why Rationality? donne un bon aperçu de pourquoi l'Ukemisme. Notons également Asymmetric Justice et Simulacra Levels and their Interactions. Permettez moi également de citer sa description de ce qu’est l’Ukemisme, que je trouve très bonne (si l’on sait faire abstraction de son style… unique) : “Rationality is a distinct path for figuring out how the world works. Without it, one’s brain is a system of kludges that mostly get reasonable answers. To improve that on the margin, you add another kludge. Some of those even involve learning Bayes’ Rule, or learning about some of the biases, in ways we have found to work on their own, complete with tricks to get better outcomes. To make ourselves all that we can be, you need to dismantle and throw out large parts of the code base and start again. That is not a fast solution. That is what rationality does.” / « La rationalité est une voie distincte pour comprendre comment fonctionne le monde. Sans elle, notre cerveau n'est qu'un système de solutions de fortune qui donnent généralement des réponses acceptables. Pour l'améliorer à la marge, on ajoute une autre solution de fortune. Certaines impliquent même d'apprendre le théorème de Bayes, ou d'étudier certains biais, d'une manière qui s'est avérée efficace, avec des astuces pour obtenir de meilleurs résultats. Pour devenir tout ce que nous pouvons être, il faut démanteler et jeter de grandes parties du code source et recommencer. Ce n'est pas une solution rapide. C'est ce que fait la rationalité. »

• Julia Galef, cofondatrice du CFAR et autrice de The Scout Mindset.

• Joe Carlsmith, en particulier pour sa série Otherness and control in the age of AGI.

• Et tant d'autres : Status 451, PUTANUMONIT ("Put a Number on It"), Thing of Things, …

Très bien. Nous avons vu le pourquoi, le qui, le quand. Quel est le résultat ? Eric Raymond dans l’introduction sous-entend, et j’explicite, une clarté nouvellement gagnée. Pourquoi ? Comment ? Essentiellement, pour la raison pour laquelle j’ai choisi le terme Ukemi. Pour ceux n’ayant pas suivi l’article Wikipedia, il s’agit, au judo, de la pratique d’apprendre à tomber. Et l’Ukemisme est essentiellement un très bon parallèle à cette pratique dans le domaine philosophique/épistémologique.

L’Ukemi, au judo, dit : "Vous allez tomber. Apprenez à le faire avec grâce et technique, et faites-en une force". L’Ukemisme dit la même chose : "Vous allez vous tromper. Préparez-vous et entraînez vous à reconnaître et gérer ces erreurs."

L’Ukemisme n’est pas un ensemble de conclusion philosophiques comme pourrait l’être, par exemple, le Kantisme. Il s’agit d’un ensemble de techniques, d’outils, d’approches et d’attitudes au service de la recherche philosophique. Sur tous les sujets, il existe une grande variété d’opinion différentes parmi les Ukemistes (excepté sur l’Épistémologie, où il existe clairement et fermement une position Ukemiste). C’est normal : la clarté revendiquée par l’Ukemisme n’est pas "nous avons enfin atteint la Vérité Certaine sur Tous les Sujets" ; c’est plutôt : "ces nouveaux outils tiennent leurs promesses, et sont d’une aide extrêmement précieuse".

Quels sont ces outils ? Il n’existe malheureusement pas à ma connaissance de compilation explicite, pas d’ouvrage de référence "L’Ukemisme en Pratique". Les pratiques sont partagées principalement implicitement, par l’exemple, au travers de débats et de discussions. Laissez-moi faire une liste certainement non-exhaustive :

• De Yudkowsky : The Fundamental Question of Rationality is: "Why do you believe what you believe?", or alternatively, "What do you think you know, and how do you think you know it?". En Français : La Question Fondamentale de l’Ukemisme est : « Pourquoi croyez-vous ce que vous croyez ? », ou alternativement, « Que pensez-vous savoir, et comment pensez-vous le savoir ? ». Ré-évaluez régulièrement ce que vous croyez vrai.

1. Vous pouvez avoir changé d’avis sur les raisons qui vous ont conduit en certaines croyances, sans pour autant avoir changé ces croyances. Voyez ça comme un ménage de printemps.

2. De manière plus importante, si vous vous êtes amélioré sur d’autres techniques, avez appris à mieux reconnaître et contrer certains biais, réévaluer régulièrement vos croyances vous permet de bénéficier de ces gains.

• "Les preuves me forcent-elles à croire X ?" "Les preuves m’interdisent-elles de croire X ?". Apprenez à reconnaître quand votre pensée atteint ces motifs, et reconnaissez que c’est une erreur. La question correcte est : dans quelle direction penchent les preuves ? Ne privilégiez pas a priori un des deux côtés de la question.

• En débat/discussion : prenez régulièrement littéralement deux secondes pour vous demander "est-ce que je crois réellement ce que je viens de dire, ou me suis-je laissé entraîner par le courant naturel de la conversation ?". J’ai été personnellement surpris du nombre de fois où ces deux secondes se concluent par : "non, je ne le crois pas réellement, je me suis laissé emporter par le courant naturel de la conversation dans une direction qui ne reflète pas mes réelles croyances". Évidemment, cela marche également à l’écrit, même s’il est déjà plus naturel de s’auto-relire et corriger dans ce cas-ci.

• Identifiez votre Objection Réelle. Si vous croyez en non-X/ne croyez pas en X, posez vous la question : quel fait dans le monde réel serait suffisant pour vous faire changer d’avis ? Utile dans un contexte personnel, vital dans un contexte de discussion : identifier ces points cruciaux de désaccord. Il est bien trop aisé de tomber dans le piège de focaliser son énergie sur des points secondaires.

• Lorsque vous abordez une question qui se prête à l’analyse statistique, avant de rechercher et regarder le moindre chiffre, posez vous ces questions : "Idéalement, quelles mesures, quels indicateurs sont les plus représentatifs de la question que je me pose ? Si ceux-ci ne sont pas disponibles, quel est mon second choix ? Pour chaque hypothèse, quel chiffre je m’attend à voir ?". Et après seulement faire la recherche. Le dernier point en particulier est important : ne partez pas de "les chiffres disent X, donc j’en conclus Y" ; partez de "SI les chiffres disent X, ALORS j’en conclurai Y", puis regardez les chiffres !

• Lorsque vous abordez une question plus abstraite, posez vous la question : « qu’est-ce que je m’attends à voir dans un monde où l’hypothèse A est vraie, dans un monde où l’hypothèse A est fausse ? Quelles sont les conséquences pratiques réelles de A ou non-A ? » Concentrez-vous sur ce qui est aisément vérifiable mais dont vous ne connaissez pas encore la réponse. Puis cherchez la réponse.

• Pour chacune de vos positions, visez à être capable de passer un Test de Turing Idéologique pour cette position. Vous passez le test si vous êtes capable de présenter la position opposée d’une manière qu’un observateur objectif et impartial est incapable de donner votre position réelle (ou alternativement : si un observateur ayant une position opposée à vous approuve et cautionne votre explication).

• Pour chacune de vos positions, cherchez les arguments les plus forts opposés à celle-ci — il est extrêmement naturel de construire des hommes de pailles facile à démonter pour justifier vos positions. Résistez à cette inclinaison naturelle.

• Technique avancée : exercices de calibration. Essayez de faire des prédictions chiffrées ("à 80% sûr", "à 60% sûr"). Votre objectif est, si vous avez 100 prédictions "à 60% certaines", de se retrouver avec ~60 prédictions correctes. Vous pouvez utiliser par exemple Manifold.

Une Technique Interdite, que je déconseille fortement à toute personne qui n’est pas entièrement dévouée à la Vérité, rien que la Vérité, toute la Vérité, qui nous vient d’Eric Raymond : "Kill the Buddha". “Find the premise, or belief, or piece of received knowledge that is most important to you right at this moment, and kill it”. En Français : « Trouvez la prémisse, ou la croyance, ou le fragment de savoir reçu qui est le plus cher pour vous en ce moment même, et tuez-le ». Si ce savoir vous est effectivement cher, cela signifie que vous êtes probablement extrêmement biaisé en sa faveur. Pour compenser, faites tout pour vous convaincre qu’il est faux. Technique dangereuse, car si vous êtes trop efficace, vous risquez de vous retrouver sans plus rien de cher.

Pour conclure, revenons a la phrase que je vous ai promis que vous comprendriez à la fin de ce journal : « Eliezer Yudkowsky a principalement cet objectif en tête (expliquer les risques existentiels liés à l’IA) lorsqu’il écrit les Séquences ».

Vous savez maintenant qui est Yudkowsky, quel est son projet, et dans les grandes lignes en quoi consistent les Séquences. Reste un détail étrange qui vous a peut être interpellé : « Pourquoi diable Yudkowsky a-t-il considéré comme nécessaire de commencer par développer l’Ukemisme pour pouvoir expliquer les risques existentiels liés à l’IA ? » La réponse se trouve dans le dernier concept que je vais vous expliquer : celui de Distance Inférentielle. Intuitivement parlant, vous ne pouvez pas prendre Euclide et lui expliquer la géométrie algébrique en deux heures. Il existe énormément d’étapes et de concepts intermédiaires dont il n’a aucune connaissance. Si, brutalement, vous vous contentez de lui introduire les axiomes de la géométrie algébrique et dérouler les théorèmes, le seul résultat sera que vous passerez pour un fou. Le résultat est le même si, comme Yudkowsky, vous tentez de présenter directement sans introduction en 2005 la position « l’IA présente un clair risque d’extinction pour l’espèce humaine. »

Pour expliquer sa position, il doit détailler, en particulier, en quoi plus exactement consiste ce I de IA (quelles sont les différences et similarités avec l’intelligence humaine ?). Ce qui nécessite de clarifier d’autres concepts, comme celui de Vérité, de Réalité, de Savoir, de Croyance, de Preuve. Ce qui nécessite essentiellement… d’expliquer la synthèse des trois ingrédients de l’Ukemisme.

P.S.: je vous saurais gré de vous retenir de déraper immédiatement sur des sujets politiques, je n’ai vraiment, vraiment pas envie de me lancer sur ces questions maintenant.