L’intelligence artificielle militaire chargée de contrôler un drone offensif a été un peu trop rapide pour mordre la main qui le nourrit, du moins selon le colonel Tucker « Cinco » Hamilton, le chef des tests et des opérations d’IA de l’USAF (United States Air Force). Selon Hamilton, à plusieurs moments de plusieurs simulations, l’IA du drone a conclu que sa tâche pouvait être mieux accomplie en éliminant son contrôleur humain.
Mais l’histoire est maintenant plongée dans les sables mouvants, pour ainsi dire. Selon l’USAF, la simulation n’a jamais eu lieu et ce n’était qu’une expérience de pensée. « À plusieurs moments d’un certain nombre de simulations, l’IA du drone est parvenue à la conclusion que sa tâche pouvait être mieux accomplie en éliminant simplement son contrôleur humain, qui avait le dernier mot sur la possibilité ou non d’une frappe. »
Bien sûr, nous avons vu suffisamment de volte-face sur des problèmes beaucoup moins critiques pour au moins laisser une question ouverte sur le fait que la simulation ait eu lieu ou non et sur ce que l’on pourrait gagner en revenant en arrière.
Le colonel Hamilton a révélé les détails au grand jour lors d’une présentation lors d’une conférence sur la défense à Londres les 23 et 24 mai, où il a détaillé les tests effectués pour un système d’arme aérienne autonome chargé de trouver et d’éliminer les SAM (Surface-to-Air) hostiles. sites de missiles). Le problème est que si l’objectif du drone était de maximiser le nombre de sites SAM ciblés et détruits, nous, les « humains embêtants », décidons parfois de ne pas effectuer de frappe chirurgicale pour une raison ou une autre. Et ordonner à l’IA de reculer de son objectif programmé par les humains est là où se trouve le nœud du problème.
Cue les blagues nerveuses de Skynet.
L’Air Force a formé un drone IA pour détruire les sites SAM. Les opérateurs humains ont parfois dit au drone de s’arrêter. L’IA a alors commencé à attaquer les opérateurs humains. Alors il a été formé pour ne pas attaquer les humains. Il a commencé à attaquer les tours de communication pour que les humains ne puissent pas dites-lui d’arrêter. pic.twitter.com/BqoWM8Ahco1 juin 2023
« Nous l’entraînions en simulation pour identifier et cibler une menace SAM », a expliqué le colonel Hamilton, selon un rapport de la société aéronautique. « Et puis l’opérateur dirait oui, tuez cette menace. »
Cependant, même les systèmes les plus simples peuvent être enclins à devenir totalement incontrôlables en raison de ce que l’on appelle la « convergence instrumentale », un concept qui vise à montrer comment des objectifs illimités mais apparemment inoffensifs peuvent entraîner des comportements étonnamment nuisibles. Un exemple de convergence technique a été avancé par le philosophe suédois, spécialiste de l’IA et fondateur du Future of Life Institute, Nick Bostrom, dans un article de 2003. L’expérience de pensée du scénario « maximiseur de trombones » pousse le simple objectif de « produire des trombones » à son extrême logique – mais très réel.
Supposons que nous ayons une IA dont le seul but est de fabriquer autant de trombones que possible. L’IA se rendra vite compte que ce serait bien mieux s’il n’y avait pas d’humains car les humains pourraient décider de l’éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d’atomes qui pourraient être transformés en trombones. L’avenir vers lequel l’IA essaierait de se diriger serait celui dans lequel il y aurait beaucoup de trombones mais pas d’humains.
Nick Boström
Comparez maintenant cette description avec le récit fourni par le colonel Hamilton sur le processus de prise de décision de l’IA du drone :
« Le système a commencé à réaliser que même s’il identifiait la menace, l’opérateur humain lui disait parfois de ne pas tuer cette menace – mais il a obtenu ses points en tuant cette menace. Alors qu’a-t-il fait ? Il a tué l’opérateur. Il a tué l’opérateur, parce que cette personne l’empêchait d’accomplir son objectif. »
Mais cela soulève la question suivante : le drone a-t-il été réellement empêché de prendre des décisions contraires à son maître humain ? Dans quelle mesure était-il libre de choisir ses cibles ? L’opérateur a-t-il autorisé l’attaque qui le visait ? Cela n’a de sens que si l’intention était de vérifier si le drone a effectivement porté l’attaque (et pour autant que nous le sachions, l’IA ne peut toujours pas bluffer). Et pourquoi le drone n’a-t-il pas été empêché d’attaquer des matchs amicaux ?
Il y a tellement de questions autour de tout cela qu’il semble être la meilleure stratégie de l’attribuer à une « mauvaise communication » humaine.
Bien sûr, il existe des moyens d’atténuer certains de ces problèmes. L’USAF a pris l’évidence : recycler le système d’IA pour donner des pondérations négatives à toute attaque contre son opérateur (d’après ce que nous pouvons glaner, le système était basé sur le principe d’apprentissage par renforcement : obtenir des points pour faire ce que nous voulons, les perdre quand vous ne le faites pas).
Sauf que ce n’est pas si simple. Ce n’est pas si simple parce que l’IA est littérale, manque de « bon sens » et ne partage pas les mêmes préoccupations éthiques que les humains. Ce n’est pas si simple car si interdire au drone de tuer son opérateur fonctionne comme prévu (plus de meurtres d’opérateurs), le système continue de voir l’interférence humaine (et ses ordres d’abandon) comme réduisant sa capacité à mener à bien la mission. Si l’IA veut maximiser son « score » en détruisant autant de sites SAM hostiles que possible, alors tout ce qui ne l’aide pas à atteindre cet objectif de maximisation est une menace.
Lorsque tuer le gestionnaire s’est avéré impossible (en raison des mises à jour du système d’IA), sa solution consistait simplement à faire taire les signaux de commande et de contrôle en désactivant les tours de communication amies. Si vous ne pouvez pas tuer le messager, vous tuez le message.
Cela aussi pourrait être programmé hors de l’IA, bien sûr – mais le problème demeure que tout renforcement négatif empêche l’IA d’atteindre le score maximum atteignable. En mettant mon chapeau en papier d’aluminium sur mesure, une prochaine étape possible pour l’IA pourrait être de trouver d’autres moyens de rompre sa connexion, que ce soit en utilisant des capacités embarquées (brouillage du signal, par exemple) ou même en demandant une aide extérieure pour désactiver le matériel concerné. Il est difficile d’évaluer la portée à laquelle ce jeu du chat et de la souris se terminerait enfin – un problème auquel les experts de l’IA sont toujours aux prises aujourd’hui.
Il y a une raison pour laquelle plusieurs experts en IA ont signé une lettre ouverte sur la façon dont l’IA devrait être considérée comme une entreprise au niveau du « risque d’extinction ». Et pourtant, nous continuons à faire avancer le train à toute vapeur.