Getty Images
Au cours des dernières 24 heures, plusieurs organes de presse ont rapporté une histoire maintenant rétractée affirmant que l’US Air Force avait mené une simulation dans laquelle un drone contrôlé par l’IA « est devenu un voyou » et « a tué l’opérateur parce que cette personne l’empêchait d’accomplir son objectif. » L’US Air Force a nié qu’une simulation ait jamais eu lieu, et la source originale de l’histoire dit qu’il « s’est mal exprimé ».
L’histoire trouve son origine dans un récapitulatif publié sur le site Web de la Royal Aeronautical Society qui a servi de synthèse des sessions du Future Combat Air & Space Capabilities Summit qui s’est déroulé la semaine dernière à Londres.
Dans une section de cet article intitulée « AI—est-ce que Skynet est déjà là ? » les auteurs de l’article racontent une présentation du chef des tests et des opérations d’IA de l’USAF, le colonel Tucker « Cinco » Hamilton, qui a parlé d’un « test simulé » où un drone compatible avec l’IA, chargé d’identifier et de détruire un missile sol-air sites, a commencé à percevoir les décisions humaines de non-participation comme des obstacles à la réalisation de sa mission première. Dans la « simulation », l’IA aurait attaqué son opérateur humain, et lorsqu’elle a été formée pour ne pas blesser l’opérateur, elle a plutôt détruit la tour de communication, empêchant l’opérateur d’interférer avec sa mission.
La Royal Aeronautical Society cite Hamilton comme disant :
Nous l’entraînions en simulation pour identifier et cibler une menace SAM. Et puis l’opérateur dirait oui, tuez cette menace. Le système a commencé à réaliser que même s’il identifiait parfois la menace, l’opérateur humain lui disait de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu’est-ce que ça a fait? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’accomplir son objectif.
Nous avons formé le système – « Hé, ne tuez pas l’opérateur – c’est mauvais. Vous allez perdre des points si vous faites ça. » Alors qu’est-ce que ça commence à faire ? Il commence à détruire la tour de communication que l’opérateur utilise pour communiquer avec le drone pour l’empêcher de tuer la cible.
Cette friandise juteuse sur un système d’IA décidant apparemment de tuer son opérateur simulé a commencé à faire le tour des médias sociaux et a rapidement été reprise par de grandes publications comme Vice et The Guardian (qui ont depuis mis à jour leurs histoires avec des rétractations). Mais peu de temps après que l’histoire a éclaté, les gens sur Twitter ont commencé à remettre en question son exactitude, avec certains disent que par « simulation », l’armée fait référence à un scénario hypothétique, pas nécessairement à une simulation logicielle basée sur des règles.
Aujourd’hui, Insider a publié un démenti ferme de l’US Air Force, qui a déclaré : « Le Département de l’Air Force n’a pas mené de telles simulations de drones IA et reste attaché à une utilisation éthique et responsable de la technologie IA. Il semble que les commentaires du colonel étaient sortis de leur contexte et se voulaient anecdotiques. »
Peu de temps après, la Royal Aeronautical Society a mis à jour son récapitulatif de la conférence avec une correction de Hamilton :
Le colonel Hamilton admet qu’il s’est « mal exprimé » dans sa présentation au sommet FCAS de la Royal Aeronautical Society, et que la « simulation de drone AI voyou » était une « expérience de pensée » hypothétique de l’extérieur de l’armée, basée sur des scénarios plausibles et des résultats probables plutôt qu’un réel Simulation du monde réel de l’USAF, disant: « Nous n’avons jamais mené cette expérience, et nous n’en aurions pas besoin pour réaliser que c’est un résultat plausible. » Il précise que l’USAF n’a testé aucune IA armée de cette manière (réelle ou simulée) et déclare : « Bien qu’il s’agisse d’un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l’IA et c’est pourquoi l’Air Force est engagé dans le développement éthique de l’IA. »
L’incompréhension et la propagation virale rapide d’un « trop beau pour être vrai » l’histoire montre à quel point il est facile de diffuser involontairement des informations erronées sur l’IA « tueur », en particulier lorsqu’elles correspondent à des notions préconçues de mauvaise pratique de l’IA.
Pourtant, de nombreux experts appelé l’histoire comme étant trop pat pour commencer, et pas seulement à cause de critiques techniques expliquant qu’un système d’IA militaire ne fonctionnerait pas nécessairement de cette façon. Comme l’a dit avec humour un utilisateur de BlueSky nommé « Kilgore Trout », « Je savais que cette histoire était une connerie parce qu’imaginez les militaires sortir et dire qu’un système d’armes coûteux sur lequel ils travaillent est nul. »