Rationalité : de l’IA aux zombies par Eliezer Yudkowsky

Un tour de force de « Rationality », ou comme vous voulez l’appeler. Il s’agit d’une élucidation profonde et énergique, mais équilibrée et humaine de la rationalité. Mais le plus important, c’est qu’il est brillamment spirituel. Eliezer insiste à plusieurs reprises sur la trivialité des définitions des mots mais je commencerai par définir ce qu’Eliezer entend par rationalité.

Rationalité épistémique : pour améliorer systématiquement les probabilités de croyances.
Rationalité instrumentale : s’améliorer systématiquement pour atteindre les objectifs.

Certes, rationalité épistémique et rationalité instrumentale sont profondément imbriquées. On a besoin de croyances précises pour atteindre la plupart des objectifs et il faut avoir un objectif pour améliorer l’exactitude de leurs croyances. Néanmoins, je pense que séparer la rationalité en épistémique et instrumentale est intelligent car avoir des croyances plus précises n’est pas nécessairement toujours instrumentale.

Si vous pensez que la « rationalité » est « mauvaise », alors vous la définissez presque certainement comme autre chose que ce qui précède. La rationalité ne prescrit pas d’objectifs. Par conséquent, ce n’est en principe ni bon ni mauvais. La rationalité est au-delà du bien et du mal.

Dans cette revue, vous ne trouverez aucune critique. Pourquoi? Parce que si j’avais un désaccord, je suis plus que bienvenu pour aller sur LessWrong.com, naviguer jusqu’au chapitre avec lequel je n’étais pas d’accord et laisser un commentaire articulant respectueusement et précisément mon contre-argument. Eliezer lui-même pourrait me répondre et s’il était convaincu par mon raisonnement et mes preuves, il irait de l’avant et éditerait ce chapitre, mettant ainsi à jour ses croyances comme le ferait un bon bayésien. S’il n’est pas d’accord, il me présenterait un argument pour m’aider à améliorer mes croyances. Dans le domaine de la théorie des jeux, le théorème de l’accord d’Aumann démontre que deux rationalistes ayant une connaissance commune des croyances de l’autre ne peuvent pas s’entendre pour être en désaccord. S’ils acceptent de ne pas être d’accord, alors au moins l’un d’entre eux fait quelque chose de mal.

Et voilà, Eliezer vous présente les Douze Vertus de la Rationalité :

1. Curiosité: Une démangeaison brûlante de savoir est plus élevée qu’un vœu solennel de rechercher la vérité. Ressentir la démangeaison brûlante de la curiosité exige à la fois que vous soyez ignorant et que vous désiriez abandonner votre ignorance. Si vous croyez que vous savez déjà, ou si dans votre cœur vous ne souhaitez pas savoir, alors votre poursuite sera vaine. La curiosité cherche à s’anéantir ; aucune curiosité ne veut pas de réponse. Méfiez-vous de ceux qui parlent d’ouverture d’esprit et confessent modestement leur ignorance sans vouloir savoir.

2. Abandon : Il y a un temps pour confesser votre ignorance et un temps pour renoncer à votre ignorance. Ne reculez pas devant des expériences qui pourraient détruire vos croyances. La pensée que vous ne pouvez pas penser vous contrôle plus que les pensées que vous dites à voix haute. Soumettez-vous à des épreuves et testez vos croyances les plus chères. Abandonnez l’émotion qui repose sur une croyance erronée et cherchez à ressentir pleinement cette émotion qui correspond aux faits. Prenez garde de ne pas vous attacher à des croyances que vous ne voulez peut-être pas.

3. Légèreté: Laissez le vent de l’évidence vous souffler comme si vous étiez une feuille, sans direction propre. Abandonnez-vous à la vérité aussi vite que vous le pouvez. Faites-le à l’instant où vous réalisez à quoi vous résistez, à l’instant où vous pouvez voir de quel côté le vent des preuves souffle contre vous. Soyez infidèle à votre cause et trahissez-la à un ennemi plus fort. Si vous considérez l’évidence comme une contrainte et cherchez à vous libérer, vous vous vendez aux chaînes de vos caprices. Vous ne pouvez pas faire une carte précise d’une ville en restant assis chez vous les yeux fermés et en traçant des lignes sur du papier selon vos impulsions.

4. Uniformité: Prenez garde de ne pas placer d’énormes charges de la preuve uniquement sur des propositions que vous n’aimez pas et de vous défendre ensuite en disant : « Mais il est bon d’être sceptique. » Si vous ne vous occupez que des preuves favorables, en sélectionnant vos données, alors plus vous collectez de données, moins vous en savez. Si vous écrivez d’abord au bas d’une feuille de papier : « Et donc, le ciel est vert ! peu importe les arguments que vous écrivez au-dessus; la conclusion est déjà écrite. Écoutez les hypothèses pendant qu’ils plaident leur cause devant vous, mais n’oubliez pas que vous êtes le juge.

5. Argument: Ceux qui sourient sagement et disent « Je ne discuterai pas » se retirent de l’aide et se retirent de l’effort communautaire. Lors d’une dispute, efforcez-vous d’être parfaitement honnête pour le bien des autres et de vous-même : la partie de vous-même qui déforme ce que vous dites aux autres déforme également vos pensées. Ne croyez pas que vous rendez service aux autres si vous acceptez leurs arguments ; la faveur est à vous. Ne pensez pas que l’équité de tous les côtés signifie vous équilibrer de manière égale entre les positions ; la vérité n’est pas distribuée à parts égales avant le début d’un débat.

6. Empirisme: Les racines de la connaissance se trouvent dans nos expériences, et ses fruits sont des prédictions sur la réalité. Quel arbre pousse sans racines ? Quel arbre nous nourrit sans fruit ? Si un arbre tombe dans une forêt et que personne ne l’entend, fait-il un bruit ? L’un dit : « Oui, car cela fait des vibrations. » Un autre dit : « Non, car il n’y a de traitement auditif dans aucun cerveau. » Bien qu’ils se disputent, tous deux n’anticipent pas une expérience différente de la forêt. Ne demandez pas quelles croyances professer mais quelles expériences anticiper. Sachez toujours de quelle différence d’expérience vous vous disputez. Ne laissez pas l’argument vagabonder et devenir une question de vertu de quelqu’un ou de définitions de mots.

7. Simplicité: Antoine de Saint-Exupéry disait : « La perfection n’est pas atteinte lorsqu’il n’y a plus rien à ajouter, mais lorsqu’il n’y a plus rien à retirer. La simplicité est vertueuse dans la croyance, la conception, la planification et la justification. Lorsque vous professez une croyance énorme avec de nombreux détails, chaque détail supplémentaire est une autre chance pour que la croyance soit fausse. Chaque spécification ajoute à votre fardeau ; si vous pouvez alléger votre fardeau, vous devez le faire. Une chaîne de mille maillons arrivera à une conclusion correcte si chaque étape est bonne, mais elle peut vous mener n’importe où si une étape est mauvaise.

8. Humilité: Être humble, c’est prendre des mesures spécifiques en prévision de vos erreurs. Avouer votre faillibilité et ne rien faire ensuite n’est pas humble ; il se vante de votre modestie. Qui sont les plus humbles ? Ceux qui se préparent le plus habilement aux erreurs les plus profondes et les plus catastrophiques dans leurs propres croyances et plans. Parce que ce monde contient de nombreuses personnes dont la compréhension de la rationalité est abyssale, les étudiants débutants en rationalité gagnent des arguments et acquièrent une vision exagérée de leurs capacités. Mais il ne sert à rien d’être supérieur : la vie n’est pas graduée sur une courbe. Il n’y a aucune garantie que l’adéquation est possible compte tenu de vos efforts les plus durs ; par conséquent, n’hésitez pas à savoir si les autres font pire.

9. Perfectionnisme : Plus vous corrigez d’erreurs en vous-même, plus vous en remarquez. Au fur et à mesure que votre esprit devient plus silencieux, vous entendez plus de bruit. Lorsque vous remarquez une erreur en vous-même, cela indique que vous êtes prêt à passer au niveau supérieur. Si vous tolérez l’erreur plutôt que de la corriger, vous ne passerez pas au niveau suivant et vous n’acquérirez pas la capacité de remarquer de nouvelles erreurs. Si vous ne cherchez pas la perfection dans tous les Arts, vous vous arrêterez avant de faire vos premiers pas. Si la perfection est impossible, ce n’est pas une excuse pour ne pas essayer. Tenez-vous au niveau le plus élevé que vous puissiez imaginer et recherchez-en un encore plus haut. Ne vous contentez pas de la réponse presque correcte ; chercher précisément la bonne.

dix. Précision: On vient et dit : La quantité est entre un et cent. Un autre dit : La quantité est entre quarante et cinquante. Si la quantité est de quarante-deux, ils sont tous les deux corrects. Cependant, la deuxième prédiction était plus utile et s’exposait à un test plus strict. Les affirmations les plus précises tranchent le tranchant de la lame. Comme pour la carte, il en va de même pour l’Art de la cartographie : La Voie est un Art précis. Ne marchez pas vers la vérité, mais dansez. À chaque pas de cette danse, votre pied descend exactement au bon endroit. Chaque élément de preuve modifie vos croyances exactement de la bonne quantité. Quelle est précisément la bonne quantité ? Pour calculer cela, vous devez étudier la théorie des probabilités.

11. Bourse d’études: Étudiez de nombreuses sciences et absorbez leur pouvoir comme le vôtre. Chaque champ que vous consommez vous rend plus significatif. Si vous avalez suffisamment de sciences, les écarts entre elles diminueront et vos connaissances deviendront un tout unifié. Si vous êtes glouton, vous deviendrez plus vaste que les montagnes. Il est particulièrement important de manger des mathématiques et des sciences qui empiètent sur la rationalité : psychologie évolutionniste, heuristiques et biais, psychologie sociale, théorie des probabilités, théorie de la décision. Mais ce ne peuvent pas être les seuls domaines que vous étudiez. L’Art doit avoir un autre but que lui-même, ou il s’effondre dans une régression infinie.

12. Le vide: Si vous pratiquez les techniques depuis de nombreuses années et que vous vous soumettez à des contraintes strictes, il se peut que vous aperceviez le centre. Vous pouvez essayer de nommer le principe le plus élevé avec des noms tels que « la carte qui reflète le territoire » ou « l’expérience du succès et de l’échec » ou « la théorie de la décision bayésienne ». Mais peut-être décrivez-vous incorrectement la vertu sans nom. Comment découvrirez-vous votre erreur ? Non pas en comparant votre description à elle-même, mais en la comparant à ce que vous n’avez pas nommé.

Ceux-ci ont été paraphrasés de Douze vertus de la rationalité.

Eliezer consacre les derniers chapitres à la construction de la communauté de la rationalité. Il dit:

Si vous envisagez explicitement de créer une communauté, alors juste après un déménagement, c’est quand quelqu’un manque le plus de communauté, quand il a le plus besoin de votre aide. C’est aussi une opportunité pour le groupe de grandir. Au contraire, les tribus devraient participer à des expositions trimestrielles pour capturer les nouveaux arrivants.

Je pense qu’il y a beaucoup de travail acharné nécessaire pour renforcer et nourrir la communauté de la rationalité. Je vois trois défis majeurs à venir. Le premier est un déséquilibre entre les sexes, ces communautés ont tendance à être dominées par les hommes. La seconde est d’être plus tolérant envers les idées farfelues, car la génération d’idées est tout aussi cruciale que le jugement d’idées dans la création de connaissances. Le troisième est d’avoir des rencontres régulières en personne, tout comme les dimanches de l’église. Les rencontres vidéo ne suffisent pas.

Il y a des écueils qui peuvent affliger des communautés unies autour d’idées. Toutes les communautés humaines ont une tendance au culte. Eliezer et LessWrong en sont parfaitement conscients. Eliezer consacre quelques chapitres à l’examen du fonctionnement de la secte, en prenant principalement le comité Wikipédia comme exemple. Les communautés ont une tendance au sectarisme parce qu’elles ont tendance à renforcer leurs propres préjugés et à appliquer un scepticisme motivé envers les idées étrangères. Il faut un effort inébranlable pour résister à la dérive sectaire. Nous devons continuer à résister à la tentation de la secte.

J’imagine que beaucoup de ceux qui lisent ce livre et des livres similaires qui offrent une « vision du monde », sont éblouis par le charisme et l’intellect de l’auteur et influencés par leurs convictions fortes qu’ils commenceront à suivre aveuglément l’auteur. Si vous n’êtes pas en désaccord avec de tels auteurs, alors vous ne pensez pas et donc vous ne contribuez en rien à l’effort collectif. Frank Herbert met en garde contre les tendances de la société à « céder toute capacité décisionnelle » à un leader charismatique. Herbert a dit en 1979 :

L’essentiel de la trilogie Dune est : méfiez-vous des héros. Mieux vaut vous fier à votre propre jugement et à vos propres erreurs.