[Philosophie] Décision et Autonomie, le robot militaire et l’éthique

24 mars 2020 | ACTUALITÉS

Marie-des-Neiges Ruffo de Calabre est Docteur en Philosophie (Prix de thèse de l’IHEDN), auteur d’Itinéraire d’un robot tueur, Editions le Pommier, 2018 (sélection prix scientifique le goût des sciences). Cet article est une synthèse de son intervention à l’occasion d’une rencontre du Cercle Philosophie et Numérique du 2 mars 2020.

S’il est un point commun entre le monde de l’entreprise et le monde militaire, c’est bien la nécessité de prendre des décisions et de les faire appliquer pour la réussite d’une stratégie. Or, dans notre société aujourd’hui, l’autorité semble en crise, l’obéissance et l’exécution des ordres semblent moins garanties que jamais. Spécialistes de l’exercice du commandement, les militaires s’appuient de manière croissante sur des systèmes informatiques. Phénomène apparu depuis plusieurs années maintenant, la robotisation du champ de bataille s’est accrue au point de parler aujourd’hui de SALAs, de Systèmes d’Armes Létales Autonomes. Ces armes pourraient avoir la capacité de « décider » par elles-mêmes de tirer.

A l’heure de l’Intelligence artificielle (IA) et du Big Data, faut-il déléguer la capacité de décision à la machine ?  Avec quel impact sur le respect de l’éthique ? Existe-il une valeur propre à la décision prise par une autorité humaine ?

« Décider dans l’incertitude »

La décision ne se réduit pas à une opération rationnelle, pleinement maîtrisée, de l’esprit. Dans la pratique, la décision fait face à des résistances, et à des incertitudes. Les militaires qualifient ce champ de l’imprévisible par l’expression « brouillard de la guerre » et « friction ». Ce sont les inconnues : les circonstances, les humains, la technique. Dans ce contexte on peut se demander comment faire en sorte que les planifications et les stratégies soient couronnées de succès. On voudrait que la technologie donne une réponse simple à ce problème de pondération entre l’imprévu et la prise de décision.

L’idée d’intégrer des IA dans les processus de décision humains et peut-être créer des SALAs fait son chemin. En voici deux exemples :

  • Une IA, Libratus, a été achetée par l’armée américaine. Même si sa spécialité est de jouer au poker, l’objectif pour l’armée est d’obtenir une aide dans la définition d’une stratégie.
  • Une IA de la NSA (National Security Agency), « Skynet », vise à détecter toute activité terroriste à partir de l’analyse de patterns (motifs récurrents) sur l’usage et la localisation des téléphones, et de les cibler ensuite avec des drones.

En tant que tels, les SALAs n’existent pas car ils n’ont pas (encore) de définition juridique. Cela n’aide pas à réfléchir aux conséquences de leurs usages. Marie-des-Neiges Ruffo prône que la seule position éthique valable est que l’humain doit toujours rester à la barre de la décision, surtout dans le champ des armes létales. L’IA doit être un outil avec lequel l’humain doit pouvoir collaborer. Sur ce point, elle insiste sur la nécessité d’avoir toujours un humain dans la boucle de commandement et recommande l’ouvrage « Décider dans l’incertitude » du Général Vincent Desportes, qui donne des conseils pour parer à l’inattendu.

L’IA est « intelligente » mais de façon artificielle. L’humain fait des erreurs et la machine aussi. La bonne nouvelle est que ce ne sont pas les mêmes. 

Pourquoi devrions-nous avoir recours à l’IA ? Par manque de temps pour analyser les données massives par exemple. L’IA est d’une grande aide pour traiter les big data. Mais cela repose sur l’idée communément partagée d’après laquelle une bonne décision reposerait sur une grande masse d’information. Or, dans le domaine militaire on voit qu’un seul renseignement peut être déterminant et suffit parfois à prendre la bonne décision.

Comment « résister » à la décision d’une machine ?

Si l’IA nous aide à améliorer la gestion de tâches laborieuses, lui déléguer notre capacité de jugement, de décision dans un contexte d’incertitude est une toute autre question. Aujourd’hui il y a des propositions qui sont mises sur la table notamment aux États-Unis, afin de confier les codes nucléaires à une IA prenant pour prétexte qu’elle serait plus sûre et objective que tout être humain.

Rappelons l’histoire du soldat soviétique qui n’a pas déclenché la 3ème guerre mondiale : cet ingénieur, Stanislav Petrov, était en charge de surveiller le système d’alarme qui détecte les missiles militaires américains dans le ciel russe, et avait pour mission de déclencher la riposte. En pleine nuit le système d’alarme se déclenche. En théorie, l’ingénieur russe doit donc déclencher la riposte. Mais il se rend compte que le système ne détecte que 5 missiles, ce qui le fait douter : ce n’est pas suffisant pour détruire un pays. Il prend la décision de ne pas lancer la frappe de riposte. Il avait raison, c’était un « faux positif » (des rayons lumineux ont été réfléchis par les nuages et ont trompé le système). L’ingénieur avait les capacités de douter de la machine.

Pour résister à l’apparente toute-puissance de la machine, il faut donc que l’humain soit capable d’identifier ses faiblesses, et d’avoir l’esprit critique.

Pour l’ingénieur, l’autonomie c’est la capacité de la machine à agir sans supervision d’un homme. Au sens philosophique du terme, l’autonomie est la capacité à se donner ses propres lois. Heureusement les machines n’en sont pas capables aujourd’hui.

Lorsque l’on fait appel à l’autonomie de la machine au sens de l’ingénieur, cela pose la question de la dissolution de la responsabilité. « Respondere » signifie « répondre de » : la responsabilité découle du rapport entre humains. Pourtant, certains projets actuels proposent une traduction informatique de l’éthique, en s’inspirant par exemple de Kant ou de Benjamin Constant (voir notamment le projet EthicAA soutenu par l’ANR). Une intelligence artificielle pourrait-elle appliquer les principes kantiens ? Il s’agirait seulement d’une traduction de la pensée de Kant. Or qui dit traduction dit trahison, réduction, simplification. Le sens ne peut être porté que par l’humain.

La relation éthique se nourrit de ce sens. La « responsabilité » demande d’expliquer, de raconter, exige une relation. On attend du décideur qu’il donne du sens à l’action.

Il existe également des projets pour tenter d’informatiser l’éthique dans le domaine militaire, dont celui de Ronald Arkin pour lequel les jugements des soldats sont toujours éthiquement biaisés. Selon lui, les machines seraient donc plus performantes que les humains sur le plan éthique. D’autres ingénieurs pensent qu’il suffirait de programmer les 3 lois d’Asimov. Ceci constituerait un contre-sens vis-à-vis des intentions d’Asimov puisque la trame de ses histoires (comme dans I,Robot) repose sur l’incohérence de ces simples lois ; lorsque ces lois sont effectivement appliquées, la machine prend le pouvoir contre l’humanité.

La responsabilité, la prise de décision ne doivent jamais être déléguées à la machine. Il n’y a pas d’alternative à une programmation plus éthique.

Le stratège phronimos et l’IA 

Le Général Krulak propose le concept de « caporal stratégique » pour illustrer le fait que l’humain, même au plus petit maillon de la chaîne, est central, déterminant dans le processus de décision.

La résistance à l’inattendu, la capacité à rebondir est propre à l’humain. L’IA quant à elle est plutôt douée pour faire des propositions à partir d’évènements qui ont déjà eu lieu : cela a peu d’intérêt pour élaborer une stratégie inattendue. Or, dans le domaine militaire on a peu intérêt à reproduire une stratégie déjà utilisée si l’on veut surprendre l’ennemi.

Marie-des-Neiges Ruffo propose de revenir au concept aristotélicien de « phronimos » pour l’appliquer à la stratégie. Le concept de phronimos signifie la prudence aristotélicienne. Décider dans l’incertitude, avec sagacité, nécessite une délibération. Aristote définit la prudence comme une capacité à fixer les fins et les moyens à mettre en œuvre, et qu’une fois la délibération tranchée, il faut agir en conformité avec celle-ci. Il faut donc s’assurer que ce que fait la machine correspond bien à ce qu’elle était censée faire. Cela nécessite donc une surveillance de la machine.

La vertu se trouve au milieu entre deux extrêmes, entre l’excès d’une qualité et le défaut de celle-ci. Être un stratège phronimos c’est choisir des justes moyens d’agir, selon le juste milieu, de faire des prévisions raisonnables et raisonnées. C’est aussi la capacité à pratiquer le doute dans l’exécution de la machine, à garder la capacité de revenir sur sa programmation, notamment pour corriger les biais. Les biais sont toujours des erreurs non intentionnelles.

Mais il faut garder à l’esprit que même avec de l‘humain, ou des machines, dans les processus stratégiques, nous n’atteindrons pas la perfection, le « brouillard de la guerre » ne disparaîtra jamais.

Plus nous ferons appel à la machine, à l’automate, plus nous aurons besoin de supervision humaine, car seul l’humain est capable d’inattendu, de surprise, et d’y répondre.

Nomenclature des profils métiers du SI – version 2024

Le Cigref maintient, depuis 1991, une Nomenclature des profils métiers existants dans les Directions du Numérique des entreprises membres du Cigref. Cet outil ne présente pas ce que « doivent » être ou ce que « seront » les métiers des SI mais ce qu’ils sont...

Première édition des cahiers des Rencontres Numériques de Strasbourg – Édition 2024

Lors de la première édition des Rencontres Numériques de Strasbourg, nous avons réussi le pari de rassembler dans l’enceinte du Parlement européen, en plein mois de mars, près de 150 dirigeants du secteur numérique français pour un événement inédit de deux jours et...

Cahier des charges technique à intégrer dans l’appel d’offre cloud de confiance

Un certain nombre de membres du Cigref envisagent de lancer un appel d'offres pour des solutions de cloud de confiance. C'est pourquoi les membres du groupe de travail « cloud de confiance » ont décidé d'œuvrer collectivement à la rédaction de la partie technique d'un...

Cigref memo – AI in business: feedback and best practices

In July 2023, Cigref published its first information and news note titled « Recommendations on generative AI ». Six months later, the particularly rapid development of solutions integrating this type of technology, the experiments and...