Les systèmes d’armes létales autonomes (SALA)

Les systèmes d’armes létales autonomes (SALA)

Mise à jour : 13/04/2021

À la pointe des hautes technologies, les SALA, parfois assimilés rapidement à des « robots tueurs », ne font pas à ce jour l’objet d’une définition commune, ni d’un encadrement international au juste niveau. Ils suscitent de vives inquiétudes, notamment d’ordre éthique et juridique, tant ils révolutionnent l’art de la guerre. Leur développement interroge en effet les grands principes du droit international humanitaire (DIH), tandis que des discussions ont été engagées dès 2013 à Genève dans le cadre de la convention sur certaines armes classiques (CCAC) de 1980, amendée en 2001. Un récent rapport d’information de l’Assemblée nationale leur a été consacré en juin 2020, qui s’appuie sur l’audition de nombreux experts attentifs au développement de l’intelligence artificielle en général.

LES DÉVELOPPEMENTS DE L’AUTONOMIE DES SYSTÈMES D’ARMES

SHARKEY, Noel. “Autonomous warfare. Ensuring meaningful human control over killer machines is vital to global security” Scientific American, n° 2, février 2020 (p. 52-57)

“A radical change in the nature of warfare”

“the necessity of meaningful human control”

Des armes complètement autonomes pourraient être déployées sur les champs de bataille. Même si elles sont contrôlées par un ordinateur, elles constituent un changement radical de la nature de la guerre, à l’instar de l’avènement du nucléaire. Le X-47B et le Sea Hunter américains, le char T-14 Armata russe, les chars, bateaux et avions de combat chinois Anjian ou Dark Sword s’insèrent dans une course aux armements, à la recherche de la vitesse et de la multiplication de force. Conscient de la nécessité d’un « contrôle humain significatif », Noel Sharkey, professeur de robotique et d’intelligence artificielle à l’université de Sheffield en Angleterre, a lancé la campagne pour arrêter les robots tueurs. Les SARMO (Sense and react to military objects) existent (Iron Dome, Phalanx cannon, NBS Mantis) mais ne visent que les objets et apparaissent comme défensifs. Les « munitions planantes », les avions hypersoniques sans équipage et les essaims font l’objet de recherches américaines, chinoises et russes. Susceptibles d’erreurs, ils sont aussi imprévisibles. Un conflit pourrait survenir accidentellement entre la Russie et l’OTAN à cause de leur extrême rapidité et irréversibilité. De nombreux pays et plusieurs ONG demandent d’insérer, dans la convention de 1980 sur certaines armes classiques, une interdiction préventive des armes autonomes, lors de discussions à l’ONU. Mais ils se heurtent à l’opposition de la Russie, d’Israël et des États-Unis qui veulent remplacer l’idée du « contrôle humain » par l’expression plus vague de « niveaux appropriés de jugement humain ».

 

SCHARRE, Paul. Army of none. Autonomous weapons and the future of war, Norton & Company, 2018

“Machines can do many things, but they cannot create meaning” “The world we are creating is one that will have intelligent machines in it, but it is not for them. It is a world for us”

L’auteur, un ex-Ranger de l’armée de terre américaine ayant servi en Irak et en Afghanistan, a participé à la rédaction de la stratégie du gouvernement américain sur les armes autonomes. Il travaille actuellement pour le think tank Center of a new American security et a aussi conseillé le président Obama sur l’intelligence artificielle.

Il existe des armes de précision autodirectrices semi-autonomes qui induisent des réponses de systèmes d'armes eux-mêmes supervisés, systèmes qui sont utilisés dans au moins 30 pays contre des objets et non des humains. Quant aux munitions rôdeuses, mines torpilles encapsulées, armes antichars lancées d'un avion, elles sont dotées d'une autonomie plus complète. Paul Scharre les nomme "fully autonomous weapons" puisqu'elles peuvent choisir leurs cibles. Elles sont cependant rarement utilisées faute de bon rapport coût-bénéfice. Les recherches américaines visent la maîtrise des environnements électromagnétiques contestés ou « les cibles non coopératives », c’est-à-dire non émettrices d’énergie, que sont justement les humains. Les robots, pour être capables de les sélectionner, trouver et traiter, devraient être équipés de la "visual aided navigation" et des unités de mesure inertielle qui œuvreraient comme une oreille interne, captant les changements de vitesse. Sur ce sujet, le Département de la défense n’est pas au point, même avec les progrès récents de l’intelligence artificielle.

L’efficacité et le besoin militaire préoccupent plus les chercheurs américains que l’éthique, bien qu’ils se soucient de la faire respecter grâce à des mises au point techniques. C’est ce que pense Bob Work, le héraut de l’« information dominance » et du « Centaure ». Du point de vue militaire, la recherche de la supériorité passe par l’acquisition de la capacité à se rendre imprévisible et à rendre l’adversaire prévisible ; l’émergence de l’extrême rapidité concerne la cyberguerre. Stuart Russell s’oppose aux armes autonomes « sans contrôle humain significatif ». La Defense advanced research research agency (DARPA) espère garantir des « niveaux appropriés de jugement humain », ce que Paul Scharre considère comme une « expression vague ». L’IA générale est possible mais « elle atteindra les buts demandés par ses utilisateurs sans réaliser leur volonté profonde. » Le courant dit « conséquentialiste » de l’éthique craint la fin de la répugnance à tuer une cible éloignée et, en même temps, se réjouit de vies sauvées si les guerres sont abrégées par les armes autonomes. Pour réfléchir à la manière de diminuer les souffrances non nécessaires, cette tendance préconise un moratoire sur le développement de telles armes. En revanche, le raisonnement déontologique suivi par Jody Williams et Peter Asaro insiste sur le maintien de la prérogative humaine de décider de tuer, condition de la dignité humaine. « Cette charge morale, qu’il serait grave d’élucider » est au cœur de la profession militaire.

Qu’en est-il de la stabilité du monde ? Les armes complètement automatiques, dénuées de la vulnérabilité inhérente aux chaînes de communication, seraient bénéfiques à l’attaque mais non au contrôle de l’escalade et à la sortie de guerre. Un paradoxe surgit pourtant : cette imprévisibilité, digne des œuvres du docteur Folamour, lie les mains de son détenteur mais fait porter le poids de la décision sur l’adversaire. La crainte de représailles motive les grandes puissances, aussi Michael Car Haus invite-t-il à se restreindre mutuellement. L’inquiétude occidentale vient du manque d’information sur les réalisations effectives des autres pays militairement importants comme la Russie et, surtout, sur leur doctrine d’emploi.

 

DE GANAY, Claude. GOUTTEFARDE, Fabien. « Rapport d’information de la Commission de la défense et des forces armées de l’Assemblée nationale sur les systèmes d’armes létaux autonomes », n° 3248, 22 juillet 2020.

« Les SALA sont des systèmes d’armes capables de choisir et d’engager seuls une cible, sans intervention humaine, dans un environnement changeant »

« La France considère que la létalité constitue un critère déterminant »

Les deux rapporteurs de cette mission d’information sont Claude de Ganay, membre depuis 2012 de l’Office parlementaire des choix scientifiques et technologiques, ainsi que Fabien Gouttefarde, énarque, juriste et cadre du ministère des Armées. Une trentaine d’experts, chercheurs et acteurs politiques ou industriels dans le domaine de l’intelligence artificielle et de la stratégie ont été également auditionnés.

Les systèmes d’armes létaux autonomes (SALA) font l’objet de définitions extensives ou plus restrictives, ces dernières étant propres aux grandes puissances militaires, dont la France. L’autonomie mériterait en réalité d’être appréhendée comme un continuum. Pour Thierry Berthier, les SALA seraient au niveau 5/5, c’est-à-dire sans tutelle humaine. Les armes de niveau 1 à 4 sont semi-autonomes, le niveau 4 correspondant à une capacité de la machine à apprendre et étant maintenant atteint par les grandes puissances.

Le grand public craint l’avènement d’un Terminator, d’autres appellent de leurs vœux le soldat augmenté tandis que les tenants d’une conception chevaleresque de la guerre redoutent la déshumanisation du champ de bataille. Pourtant les SALA à proprement parler n’existent pas, et il ne faut pas appeler ainsi les armes automatiques en service depuis longtemps. Les plateformes SGR-A1 installées par la Corée du Sud sur sa frontière avec la Corée du Nord et l’Iron dome israélien sont incapables de s’adapter à un environnement changeant. En réalité, tout système d’armes appartient à une chaîne de commandement.

Une plus grande automatisation est cependant probable : elle conférerait la rapidité et l’endurance nécessaires pour répondre à des attaques coordonnées ou accompagner des plateformes habitées comme le SCAF. Une machine n’est pas un humain capable de juger au point parfois de désobéir aux ordres, la dignité de l’homme tué par une machine n’est pas respectée. Le comportement d’un SALA ne pourrait être expliqué (comme pour les effets boîte noire), sauf à supposer des biais cognitifs chez les constructeurs. Le rapport de l’humain à la guerre et les rapports entre humains dans la guerre changeraient en cas de présence des SALA sur les théâtres d’opérations. Le droit international humanitaire (DIH), reconnu par tous, comprend les conventions de Genève actualisées par des protocoles et les conventions de La Haye. Cinq principes en découlent : distinction, humanité, discrimination ou précaution, proportionnalité, interdiction de causer des maux superflus. Les SALA ne peuvent les appliquer et il ne faut donc pas les considérer comme responsables d’actes répréhensibles ; leurs utilisateurs ou fabricants doivent quant à eux respecter le DIH. L’examen de licéité réalisé en amont en France par la DGA est très strict. Les réunions de suivi de la convention sur certaines armes classiques sont une arène reconnue par tous et la France y est très impliquée. Elle insiste sur le mot « létal » pour préserver les autres usages militaires de l’intelligence artificielle.

L’allégation d’autonomie ne doit pas permettre d’interdire les systèmes d’armes existants. La France et l’Allemagne sont à l’origine d’une déclaration non contraignante en onze points, le CICR partageant presque le même avis. Les ONG veulent faire interdire les armes télé-opérées ou automatiques, les États « désarmeurs » vont dans leur sens et ne craignent pas d’agir de manière unilatérale, quand la France défend vigoureusement le multilatéralisme. Pour elle, les grandes puissances militaires devraient être incluses dans un accord de maîtrise des SALA. Il importe de concevoir une doctrine d’emploi d’armes quasi autonomes dans l’hyper-guerre qui se dessine. Aux États-Unis, le fossé supposé entre l’administration et les GAFAM n’empêche pas la coopération. En Chine, la fusion civilo-militaire est évidente mais l’expérience de terrain manque. Comme les États-Unis, la Chine veut ménager ses soldats mais elle « ne s’interdit rien » alors que les Américains sont sensibles aux injonctions morales. La France fait partie des huit États dynamiques qui viennent ensuite ; sa stratégie s’appuie sur quatre principes directeurs, consciente de la nécessité de pallier ses faiblesses en recherche appliquée et de donner sa place à l’État stratège. La constitution d’une filière est une priorité non moins que la veille stratégique sur des partenaires parfois moins scrupuleux ; le niveau européen serait adéquat pour répondre à ces enjeux mais l’Europe avance en ordre dispersé : le Parlement européen et certains États-membres sont pour une interdiction préventive des SALA. Cependant, la conscience de la nécessité d’une position commune est forte et le Fonds européen de défense devra investir de manière conforme au DIH et à l’éthique.

 

BERTHIER, Thierry. « Systèmes armés semi-automatiques : que peut apporter l’autonomie ? », RDN, n° 820, mai 2019 (p. 74-80)

« À moyen terme, tous les espaces d’action militaires seront investis par des unités robotisées plus ou moins autonomes, repoussant le combattant humain hors de la zone d’immédiate conflictualité »

Maître de conférences en mathématiques à l’université de Limoges, enseignant dans un département d’informatique, chercheur au sein de la chaire de cyberdéfense Saint Cyr-Thales-Sogeti, spécialiste des stratégies algorithmiques, Thierry Berthier invite les Européens à voir et calculer ce qui, de l’avenir, est déjà réalisé. À long terme, des groupes de combat robotisés interarmées à haut niveau d’autonomie et supervisés par des IA seront engagés dans des actions de forte intensité. Préalablement, des unités téléopérées, semi-autonomes et autonomes y seront associées. Il explique qu’un système d’arme comprend six composantes : humaine, de traction, de détection, de reconnaissance, d’acquisition de cibles et enfin d’armement.

Six niveaux d’autonomie peuvent ainsi être représentés sur un tableau allant de L0 à L5. Les technologies des niveaux L0, L1 et L2 sont bien maîtrisées. Pour L3, L4 et L5, existent des démonstrateurs dans le cadre de programmes de recherche (Sea Hunter aux États-Unis et UGV platform M en Russie) avec une insuffisance dans la détection des cibles et un besoin de progrès en intelligence artificielle et apprentissage automatique. Américains, Chinois et Russes en sont à intégrer des éléments de niveaux L0 à L4 au sein des groupes de combat. Les forces russes utilisent le système URAN-9 en contexte urbain en Syrie. Les Américains, instruits par des exercices, soutiennent que les systèmes armés intégrés ont été des multiplicateurs de puissance.

Huit facteurs humains de supériorité sur l’adversaire sont robotisés et un schéma les représente. La puissance d’un dispositif de combat embarquant des systèmes armés robotisés de niveaux L0 à L4 correspond à l’équation : P (dispositif) = C H2 Mb Sd. H désigne la capacité humaine, M la capacité en armement classique, S la capacité en systèmes armés automatisés. C’est une constante qui représente le système et le contexte ; les coefficients a,b,d sont à évaluer de manière empirique. La stratégie actuelle est complexe et doit ainsi prendre en compte les questions d’équilibre des forces, de dissuasion, de souveraineté et de dissémination, requise d’ailleurs par le droit international humanitaire (DIH), afin de bannir la fatalité.

 

Entretien avec DEZEMERY, Julien. BOY, Guy André . « L’intégration humains-systèmes pour le SCAF », DSI, n° 146, mars-avril 2020 (p. 68-72)

« L’humain et la machine demeurent en ce sens complémentaires »

Julien Dezemery est président et cofondateur de Synapse Défense et Guy André Boy professeur à Centrale Supélec et à l’ESTIA, directeur de la chaire FlexTech. Le projet Man-Machine Teaming (MMT) explore la possibilité de développer un système aérien cognitif, concept qui correspond selon Julien Dezemery au besoin de flexibilité opérationnelle. Le SCAF (Système de combat aérien futur) devrait ainsi fédérer une « mosaïque de capacités complémentaires mises en réseau » à l’horizon 2040. L’état-major de l’armée de l’air veut conférer au système de systèmes C2 ("Command and Control" ou « commandement et conduite ») le maximum de compréhension de l’environnement opérationnel grâce à la fusion et l’intégration informationnelles. La DGA cherche à résoudre ces enjeux au niveau de l’aéronef de combat lui-même. Synapse défense, dans ce projet, travaille sur la possibilité de rendre l’IA explicable (nécessaire pour optimiser la confiance entre humain et machine et l’ergonomie du cockpit). Celle-ci vise l’intégration humains-systèmes (HSI). Plusieurs disciplines sont concernées dont l’interaction humains-machines (HCI), la science des données, la modélisation et la simulation numériques, les sciences humaines et sociales et le domaine juridique. Le passage nécessaire de l’automatisation rigide à l’autonomie flexible (capacité de faire face à des événements inattendus) se fera grâce à des scénarios combinant créativité et expérience opérationnelle et à des simulations humains-dans-la-boucle. Des tests permettront d’éliminer les fonctions inutiles pour éviter l’infobésité qui risque d’obstruer la bande passante. La machine et l’humain demeurent en ce sens complémentaires : celle-ci permet à celui-là de se concentrer sur les missions nobles. L’intelligence collective s’appuie sur la communauté d’intérêt (gérée de manière centralisée ou non suivant le contexte) et sur l’espace collaboratif tactique créé par une conscience commune de la situation (née elle-même de la diffusion de l’information). Le degré d’autonomie de la machine dépend du rapport coût/bénéfice. L’IA doit être testée pour éviter qu’elle ne simplifie trop le contexte et pour élargir le domaine d’exploration. L’humain choisira entre les modes centralisés (où il agira aidé des recommandations de l’IA) et décentralisés (où il supervisera la machine).

 

LES ENJEUX ÉTHIQUES ET JURIDIQUES

BARRIER, Félicité. « Les systèmes armés létaux autonomes (SALA) : vers une nouvelle course à l’armement ? », RDN, n° 810, mai 2018. (p. 19-24)

« La notion d’automatisme est différente de celle d’autonomie »

« Les enjeux de l’apparition de SALA dans un contexte géostratégique instable sont nombreux. D’un point de vue juridique d’abord… D’un point de vue éthique ensuite… Les enjeux opérationnels quant à eux sont révélateurs de l’engouement de beaucoup d’États envers le développement des systèmes autonomes d’armement »

Félicité Barrier est analyste au ministère des Armées. En avril 2018, s’est tenue à Genève la dernière session de suivi de la convention de 1980 sur certaines armes classiques. Les SALA y ont fait l’objet de discussions et la France, consciente de l’existence d’une confusion sciemment entretenue entre SALA et drones armés, a fourni une définition très restrictive des premiers, insistant sur leur caractère létal et autonome. Cependant, même si un niveau de transition est introduit avec les armes autonomes supervisées (l’homme au-dessus de la boucle), la distinction n’est pas claire. « Les enjeux d’une robotisation ultime de la guerre » sont d’abord d’ordre juridique, avec la question de la responsabilité en cas d’erreur de la machine et celle de la facilité accrue de passer de la paix à la guerre. Il est difficile de trancher sur le statut d’une arme hypothétique. Néanmoins, la France, suivie par l’Allemagne, a favorisé la mise en place d’un groupe d’experts gouvernementaux.

Les enjeux opérationnels sont de soulager l’homme de tâches fatigantes et répétitives sans le remplacer. Les États, s’ils s’enthousiasment des gains capacitaires et économiques procurés par ces armes, n’en veulent pas moins conserver un rôle clé dans le processus de décision. Les États-Unis, la Russie et la Chine, les plus en pointe sur le plan technologique, sont encore en évolution sur la question des SALA avant l’établissement d’une convention : ils se positionneront ainsi en force, comme lors de la rédaction du traité de non-prolifération des armes nucléaires. « À ce titre, on peut donc considérer que les systèmes armés létaux autonomes ne feront peut-être pas leur entrée sur les champs de bataille dans un avenir proche ».

 

ERBLAND, Brice. « Robots tueurs » Qui seront les soldats de demain ?, Armand Colin, 2018.

« L’homme seul, et non la machine, est capable de faire preuve d’intuition, de libre arbitre, et d’initiative »

L’auteur est un officier supérieur de l’armée de terre, breveté de l’Ecole de guerre, pilote d’hélicoptère de combat. Il a pu faire l’expérience de théâtres d’opérations tels l’Afghanistan et la Libye. Préoccupé par l’éthique, il sait néanmoins que l’avènement des SALA est inéluctable. Il se distingue en cela de nombreux Anglo-Saxons qui débattent uniquement sur le jus ad bellum. Pour faire respecter le jus in bello, il se prononce pour des armes létales autonomes accompagnées par l’homme, non anthropomorphiques, transparents, non exploitables symboliquement et programmés avec soin par des officiers dédiés avant chaque mission, évalués aussi à la fin de chaque opération, dotés enfin d’un module de jugement éthique autonome reproduisant les vertus de l’humain au combat, sans ses défauts. Cette « éthique artificielle » suivra la logique déontologique, relativement simple, aussi bien pour les termes de la mission, les procédures, les règles d’engagement que le DIH (approche "top down"). Le problème des dilemmes peut être traité grâce aux logiques non linéaires, non monotones qui permettent d’établir une relation de valeur entre les conséquences d’une action. Des réseaux de neurones enregistreront des expériences et une capacité de calculs statistiques (approche "bottom up" permettant au système de généraliser et d’évoluer). Pour valider cette éthique artificielle, il faudra la tester (les roboticiens parlent de "Moral turning test") en comparant le comportement de la machine avec celui d’un être humain.

En aucun cas, il ne faudrait sombrer dans l’anthropomorphisme, courant dans la science-fiction, même si certains auteurs sont exempts de ce travers, tels Peter Singer et August Cole, les auteurs de Ghost fleet ; Philip K. Dick, qui pose cette question : « Les androïdes rêvent-ils de moutons électriques ?» ou Isaac Asimov, notamment dans sa nouvelle La machine qui gagna la guerre. Selon eux, l’homme seul, et non la machine, est capable de faire preuve d’intuition, de libre arbitre et d’initiative.

 

COMECE. “Technology at the service of peace, How can the EU and its members states address the (mis)use of force through unscrewed armed systems”, 01/07/2019.

Disponible sur : www.comece.eu

“Contribution to lasting human security and sustainable peace”

Dans ce communiqué de presse très consistant, la Commission des épiscopats de la Communauté européenne (COMECE) répond aux interrogations de la société civile et du Parlement européen sur les armes létales autonomes. Attentive aux développements de l’Europe de la défense et à l’énonciation des priorités du Fonds européen de défense (FED), parmi lesquelles figurent les technologies de rupture dont les drones et l’intelligence artificielle (IA), elle note comme une étape positive l’exclusion du FED des SALA et des systèmes d’armes interdits par le droit international humanitaire. Les objectifs stratégiques de l’UE doivent être la sécurité humaine et une paix durable. Il faut distinguer trois types d’armes sans équipage : les machines contrôlées à distance, les systèmes d’armes automatiques (SARMO, servant à protéger des installations militaires ou des civils) au comportement prévisible et des systèmes autonomes capables d’auto-apprentissage. La qualité du contrôle humain doit être exemplaire et les excuses invoquant la concurrence ou l’économie n’ont pas de valeur. Les défis des technologies sans équipages sont nombreux : les systèmes d’armes contrôlés de loin risquent de ne pas respecter le jus ad bellum, in bello, post bellum. Les SARMO sont acceptables sous condition d’être supervisés. Les systèmes totalement autonomes ne sont pas transparents, car ils s’avèrent incapables de respecter le droit et l’éthique, même avec des logiciels spécifiques imaginés par certains. L’IA dont ils sont dotés est opaque, incapable de faire face aux situations complexes qui exigent d’autres appréhensions. Un cadre commun de régulation doit être élaboré par l’UE sur ces trois types d’armes : le contrôle des autorités de l’État est requis ; il faut mieux distinguer les opérations militaires du maintien de l’ordre ; le commerce des armes, le savoir-faire et les composants sont à réguler conformément à l’Agenda du désarmement du Secrétaire général de l’ONU de 2018 ; les drones armés doivent faire l’objet de plus de transparence et de responsabilité.

 

KEMPF, Olivier. « Robots terrestres et combat urbain : quelle dimension éthique ? », RDN, n°828, mars 2020. (pp.69-72)

« Une planification opérationnelle qui décidera du rythme des opérations… et des règles d’engagement strictes et fermement respectées »

Le général Olivier Kempf a quitté le service actif en 2018. Docteur en science politique, il est spécialiste de l’OTAN et du cyber. Le combat urbain pose plusieurs dilemmes bien identifiés, dont celui de la difficulté à discriminer civils et combattants ou plutôt entre l’emploi de la force et l’éthique. La planification opérationnelle et les règles d’engagement sont les réponses logiques et usuelles. Le robot terrestre y fait son apparition avec ses chenilles ou ses roues, l’humanoïde n’étant qu’un fantasme. Les unités de sécurité profitent de sa capacité à franchir les accidents de terrain, de son endurance, de sa résistance à des environnements adverses et l’adoptent comme auxiliaire. De même, pour le combattant, c’est une mule porte-charge, un outil dans le cadre du génie ou du déminage. Leur utilité et leur capacité à préserver des vies permettent de les juger conformes à l’éthique. Les robots de reconnaissance équipés de capteurs ou de caméras, les nano-drones, et de micro-drones aériens (mais terrestres par destination) à faible autonomie fournissent information et économie nerveuse, favorisant ainsi la discrimination et le respect de l’éthique. Les robots combattants peuvent viser les tireurs embusqués s’ils sont téléguidés. En revanche, s’ils sont programmés par un humain pour un déclenchement automatique après observation permanente de la meurtrière, une limite éthique est atteinte, qu’il faudra apprécier dans le cadre des règles d’engagement. Il existe déjà, à la frontière entre les deux Corées, des armes à déclenchement automatique qui délimitent des zones interdites (celui qui s’y engage est considéré comme ennemi). Il serait possible de mettre ce système sur un robot, le rendant ainsi mobile. Il reste à définir des règles d’engagement pour les robots terrestres.

 

[Les mémoires, articles et ouvrages cités sont consultables au CDEM]

pdf