[Philosophie] Décision et Autonomie, le robot militaire et l’éthique

24 mars 2020 | ACTUALITÉS

Marie-des-Neiges Ruffo de Calabre est Docteur en Philosophie (Prix de thèse de l’IHEDN), auteur d’Itinéraire d’un robot tueur, Editions le Pommier, 2018 (sélection prix scientifique le goût des sciences). Cet article est une synthèse de son intervention à l’occasion d’une rencontre du Cercle Philosophie et Numérique du 2 mars 2020.

S’il est un point commun entre le monde de l’entreprise et le monde militaire, c’est bien la nécessité de prendre des décisions et de les faire appliquer pour la réussite d’une stratégie. Or, dans notre société aujourd’hui, l’autorité semble en crise, l’obéissance et l’exécution des ordres semblent moins garanties que jamais. Spécialistes de l’exercice du commandement, les militaires s’appuient de manière croissante sur des systèmes informatiques. Phénomène apparu depuis plusieurs années maintenant, la robotisation du champ de bataille s’est accrue au point de parler aujourd’hui de SALAs, de Systèmes d’Armes Létales Autonomes. Ces armes pourraient avoir la capacité de “décider” par elles-mêmes de tirer.

A l’heure de l’Intelligence artificielle (IA) et du Big Data, faut-il déléguer la capacité de décision à la machine ?  Avec quel impact sur le respect de l’éthique ? Existe-il une valeur propre à la décision prise par une autorité humaine ?

« Décider dans l’incertitude »

La décision ne se réduit pas à une opération rationnelle, pleinement maîtrisée, de l’esprit. Dans la pratique, la décision fait face à des résistances, et à des incertitudes. Les militaires qualifient ce champ de l’imprévisible par l’expression « brouillard de la guerre » et « friction ». Ce sont les inconnues : les circonstances, les humains, la technique. Dans ce contexte on peut se demander comment faire en sorte que les planifications et les stratégies soient couronnées de succès. On voudrait que la technologie donne une réponse simple à ce problème de pondération entre l’imprévu et la prise de décision.

L’idée d’intégrer des IA dans les processus de décision humains et peut-être créer des SALAs fait son chemin. En voici deux exemples :

  • Une IA, Libratus, a été achetée par l’armée américaine. Même si sa spécialité est de jouer au poker, l’objectif pour l’armée est d’obtenir une aide dans la définition d’une stratégie.
  • Une IA de la NSA (National Security Agency), « Skynet », vise à détecter toute activité terroriste à partir de l’analyse de patterns (motifs récurrents) sur l’usage et la localisation des téléphones, et de les cibler ensuite avec des drones.

En tant que tels, les SALAs n’existent pas car ils n’ont pas (encore) de définition juridique. Cela n’aide pas à réfléchir aux conséquences de leurs usages. Marie-des-Neiges Ruffo prône que la seule position éthique valable est que l’humain doit toujours rester à la barre de la décision, surtout dans le champ des armes létales. L’IA doit être un outil avec lequel l’humain doit pouvoir collaborer. Sur ce point, elle insiste sur la nécessité d’avoir toujours un humain dans la boucle de commandement et recommande l’ouvrage « Décider dans l’incertitude » du Général Vincent Desportes, qui donne des conseils pour parer à l’inattendu.

L’IA est « intelligente » mais de façon artificielle. L’humain fait des erreurs et la machine aussi. La bonne nouvelle est que ce ne sont pas les mêmes. 

Pourquoi devrions-nous avoir recours à l’IA ? Par manque de temps pour analyser les données massives par exemple. L’IA est d’une grande aide pour traiter les big data. Mais cela repose sur l’idée communément partagée d’après laquelle une bonne décision reposerait sur une grande masse d’information. Or, dans le domaine militaire on voit qu’un seul renseignement peut être déterminant et suffit parfois à prendre la bonne décision.

Comment « résister » à la décision d’une machine ?

Si l’IA nous aide à améliorer la gestion de tâches laborieuses, lui déléguer notre capacité de jugement, de décision dans un contexte d’incertitude est une toute autre question. Aujourd’hui il y a des propositions qui sont mises sur la table notamment aux États-Unis, afin de confier les codes nucléaires à une IA prenant pour prétexte qu’elle serait plus sûre et objective que tout être humain.

Rappelons l’histoire du soldat soviétique qui n’a pas déclenché la 3ème guerre mondiale : cet ingénieur, Stanislav Petrov, était en charge de surveiller le système d’alarme qui détecte les missiles militaires américains dans le ciel russe, et avait pour mission de déclencher la riposte. En pleine nuit le système d’alarme se déclenche. En théorie, l’ingénieur russe doit donc déclencher la riposte. Mais il se rend compte que le système ne détecte que 5 missiles, ce qui le fait douter : ce n’est pas suffisant pour détruire un pays. Il prend la décision de ne pas lancer la frappe de riposte. Il avait raison, c’était un « faux positif » (des rayons lumineux ont été réfléchis par les nuages et ont trompé le système). L’ingénieur avait les capacités de douter de la machine.

Pour résister à l’apparente toute-puissance de la machine, il faut donc que l’humain soit capable d’identifier ses faiblesses, et d’avoir l’esprit critique.

Pour l’ingénieur, l’autonomie c’est la capacité de la machine à agir sans supervision d’un homme. Au sens philosophique du terme, l’autonomie est la capacité à se donner ses propres lois. Heureusement les machines n’en sont pas capables aujourd’hui.

Lorsque l’on fait appel à l’autonomie de la machine au sens de l’ingénieur, cela pose la question de la dissolution de la responsabilité. « Respondere » signifie « répondre de » : la responsabilité découle du rapport entre humains. Pourtant, certains projets actuels proposent une traduction informatique de l’éthique, en s’inspirant par exemple de Kant ou de Benjamin Constant (voir notamment le projet EthicAA soutenu par l’ANR). Une intelligence artificielle pourrait-elle appliquer les principes kantiens ? Il s’agirait seulement d’une traduction de la pensée de Kant. Or qui dit traduction dit trahison, réduction, simplification. Le sens ne peut être porté que par l’humain.

La relation éthique se nourrit de ce sens. La « responsabilité » demande d’expliquer, de raconter, exige une relation. On attend du décideur qu’il donne du sens à l’action.

Il existe également des projets pour tenter d’informatiser l’éthique dans le domaine militaire, dont celui de Ronald Arkin pour lequel les jugements des soldats sont toujours éthiquement biaisés. Selon lui, les machines seraient donc plus performantes que les humains sur le plan éthique. D’autres ingénieurs pensent qu’il suffirait de programmer les 3 lois d’Asimov. Ceci constituerait un contre-sens vis-à-vis des intentions d’Asimov puisque la trame de ses histoires (comme dans I,Robot) repose sur l’incohérence de ces simples lois ; lorsque ces lois sont effectivement appliquées, la machine prend le pouvoir contre l’humanité.

La responsabilité, la prise de décision ne doivent jamais être déléguées à la machine. Il n’y a pas d’alternative à une programmation plus éthique.

Le stratège phronimos et l’IA 

Le Général Krulak propose le concept de « caporal stratégique » pour illustrer le fait que l’humain, même au plus petit maillon de la chaîne, est central, déterminant dans le processus de décision.

La résistance à l’inattendu, la capacité à rebondir est propre à l’humain. L’IA quant à elle est plutôt douée pour faire des propositions à partir d’évènements qui ont déjà eu lieu : cela a peu d’intérêt pour élaborer une stratégie inattendue. Or, dans le domaine militaire on a peu intérêt à reproduire une stratégie déjà utilisée si l’on veut surprendre l’ennemi.

Marie-des-Neiges Ruffo propose de revenir au concept aristotélicien de « phronimos » pour l’appliquer à la stratégie. Le concept de phronimos signifie la prudence aristotélicienne. Décider dans l’incertitude, avec sagacité, nécessite une délibération. Aristote définit la prudence comme une capacité à fixer les fins et les moyens à mettre en œuvre, et qu’une fois la délibération tranchée, il faut agir en conformité avec celle-ci. Il faut donc s’assurer que ce que fait la machine correspond bien à ce qu’elle était censée faire. Cela nécessite donc une surveillance de la machine.

La vertu se trouve au milieu entre deux extrêmes, entre l’excès d’une qualité et le défaut de celle-ci. Être un stratège phronimos c’est choisir des justes moyens d’agir, selon le juste milieu, de faire des prévisions raisonnables et raisonnées. C’est aussi la capacité à pratiquer le doute dans l’exécution de la machine, à garder la capacité de revenir sur sa programmation, notamment pour corriger les biais. Les biais sont toujours des erreurs non intentionnelles.

Mais il faut garder à l’esprit que même avec de l‘humain, ou des machines, dans les processus stratégiques, nous n’atteindrons pas la perfection, le « brouillard de la guerre » ne disparaîtra jamais.

Plus nous ferons appel à la machine, à l’automate, plus nous aurons besoin de supervision humaine, car seul l’humain est capable d’inattendu, de surprise, et d’y répondre.

[Cigref report] Understanding quantum computing to prepare for the unexpected

Just a few years ago, quantum computing was a utopian dream. Today, however, it is beginning to take root in people's minds. It promises to replace the law of Gordon Moore, a cofounder of Intel who predicted that computing capacity would double every year...up to the...

[Cigref report] IT/OT convergence: A fruitful integration of information systems and operational systems

Convergence IT/OT - Corporations are undertaking wide-ranging projects to seize the growing opportunities data processing offers to optimise and add value to their businesses. It is in this context that the Cigref "IT-OT Convergence" working group led by Gilles...

Quantum Computing : comprendre l’informatique quantique pour se préparer à l’inattendu

L'informatique quantique impliquera d'ici 5 à 10 ans des changements importants nécessitant des organisations et de leurs dirigeants qu'ils comprennent dès aujourd’hui cette technologie. C’est pour démystifier le sujet et les aider à se préparer à l’inattendu du...

Gaia-X : lancement de l’initiative franco-allemande en faveur de l’émergence d’un marché européen du cloud de confiance

Le Cigref se félicite du lancement de la fondation Gaia-X et du puissant soutien que lui accordent les gouvernements français et allemands. La fondation Gaia-X se dote aujourd’hui d’une structure de gouvernance permettant d’assurer les objectifs définis dans le position paper du 18 février 2020. Les 22 membres fondateurs sont représentatifs des différentes parties prenantes du marché du cloud : académique, associatifs, fournisseurs et utilisateurs de solutions ou services numériques.