Ethique des robots intelligents

Robots intelligents
Quelle éthique dans l'interaction homme-robot ?

Jean Caelen & Denis Vernant

Dans une vision simpliste, on peut considérer le robot comme une « personne », étant donné sa grande ressemblance, toute externe d’ailleurs, avec l’être humain. Déjà Isaac Asimov, dès 1942, dans son roman de science-fiction Runaround, avait énoncé ses Trois lois de la robotique :

• Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.
• Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
• Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la seconde loi [1].

Ces règles relèvent d’une morale purement rationaliste, d’inspiration kantienne. Mais la « raison pratique », qui inspire une morale du Devoir, n'est en aucune façon un concept empirique. Si, au contraire, nous prenons en compte l’empiricité des types de robot nous devons distinguer :

– le robot « autonome » qui se caractérise par :

1. ◦ une perception et une intelligence limitées de la situation ;
2. ◦ un sens de l’action inexistant : le robot peut savoir ce qu’il fait, mais n’a pas de raison propre de le faire (il ne peut se fixer des buts que lorsqu’une mission lui a été prescrite) ;
3. ◦ l’absence de conscience « intérieure ». On peut distinguer deux niveaux dans la conscience : le premier est associé à une certaine structure et aux processus liés à la prise de décision. C’est à cette décision qu’on voit que l’agent est conscient. Le second niveau relève d’une perception, de sensations intérieures et d’une analyse du sens de l’action qui sont les vraies raisons d’agir. Ainsi de l’effet miroir : on peut reconnaître sa voix parce qu’on s’entend parler (voie extérieure) ou parce que l’on sait que l’on parle (voie intérieure) ;
4. Il agit de plus en plus en lieu et place de l’humain, mais est-il responsable en cas d’erreur ou même de nuisance ?

– le robot « compagnon » est un robot autonome bien-intentionné et coopératif, mais sans aucune conscience de ce que sont ses « bonnes intentions » qui peuvent conduire à des bévues ou induire de mauvais comportements vis-à-vis de la personne qu’il assiste. Quelle est alors la responsabilité de ce robot en cas d’incident même si en ce cas on ne parle plus de nuisance ?

– le robot « bio-inspiré » est un robot autonome qui imite le comportement de certains animaux ou organismes vivants comme les insectes, les reptiles, les mammifères domestiques, etc.

– le robot « espion » (par exemple certains drones militaires) est autonome, malintentionné, dirigé volontairement vers des cibles potentielles. Dans le cas où il est semi-autonome, la limitation des capteurs et de la perception du téléopérateur via les interfaces du robot aggrave les conséquences d’une mauvaise prise de décision. L’opérateur est-il en droit dans ce cas de déléguer sa responsabilité au robot en prétendant que c’est le robot qui a tiré sur la cible ?

Isaac Azimov

Depuis Isaac Asimov on s’interroge sur une « éthique des robots ». Entre 2006 et 2007, le gouvernement de Corée du Sud [2] et le Réseau de recherche européen sur la robotique (Euron) [3] posent la possibilité d’établir une charte du droit des robots. Le robot est tenu pour un « sujet » autonome et « intelligent », doté de devoirs et de droits : il ne doit pas nuire à l’humanité et l’humain ne doit pas lui nuire. Ce sont en quelque sorte des principes moraux « maximalistes » qui posent le robot comme « personne responsable » : tout comme a été créée la notion de personne morale, il devrait être possible de créer une personne robot afin de lui reconnaître des droits et obligations qui l’assimileront à une personne physique. Enfin, il conviendrait de lui attribuer une identité, avec par exemple un numéro identifiant, et de la doter d’un patrimoine, englobant tous les biens représentatifs inhérents au fonctionnement du robot [4].

D’autres chercheurs proposent d’intégrer des règles morales dans le comportement du robot qui pourraient le contraindre vertueusement : aussi, il nous semblerait plus pertinent d’intégrer dans le protocole régissant le comportement du robot un ensemble de lois qu’il ne peut enfreindre, et d’établir un cadre juridique international strict concernant leur usage [5].

Dans le prolongement du principe de non-nuisance (harm principle) de John Stuart Mill, Ruwen Ogien plaide pour un minimalisme moral radical au sens où « ce que nous faisons de nous-mêmes n'a aucune importance morale » (indifférence morale du rapport à soi-même) : comme les conceptions rationalistes du droit, les conceptions minimalistes de la morale se proposent de limiter leur domaine. Elles recommandent de réserver l'application du mot « immoral » aux relations injustes envers les autres (humiliation, discrimination, exploitation et manipulation cyniques, atteintes aux droits, gestion des relations par la menace, la violence ou d'autres formes de contrainte, etc.) et d'éviter de l'utiliser pour évaluer tout ce qui, dans nos façons de vivre, nos pensées, nos actions, ne concerne que nous-mêmes, ce que nous faisons entre personnes consentantes, ou nos relations envers des choses abstraites (« Dieu », la « Patrie », la « Nature », la « Société », l’« Homme », etc.) [6].

Ces principes conduiraient à ce que le robot n’a pas à se sauvegarder lui-même, mais simplement à veiller à ne pas nuire aux humains. Si de plus on considère que le robot n’est pas une « personne », les humains n’ont pas d’obligation à ne pas lui nuire. Le minimalisme moral se réduirait donc à : « le robot ne doit pas nuire à l’humain ».

En-deçà de ces deux tendances, minimalisme et maximaliste, que nous dit le droit actuel sur l’utilisation des machines en général ? Traditionnellement, avec des machines considérées comme des outils, la responsabilité incombe à l’opérateur (mauvais usage) ou au fabricant (pannes, erreurs) en cas de non-conformité. Mais dans le cas de robots autonomes le problème est plus délicat car :

1. l’opérateur n’a pas le contrôle total du robot (même s’il le pilote à distance) ou il peut en avoir une confiance démesurée (sentiment de toute-puissance chez les pilotes de drones) ;
2. les réseaux d’acteurs diluent la responsabilité (ordonnateur, opérateur, programmeurs, fabricants, etc.), d’où un effet de chaînes d’acteurs, mais aussi une division et dilution des rôles (par ex. il peut y avoir plusieurs programmeurs) ;
3. dans certains cas intervient une dimension émotionnelle positive dans la prise de décision chez l’humain (par ex. peur de mal faire) qui ne constitue plus une barrière pour le robot ;
4. la complexité du robot est croissante et personne ne maîtrise un logiciel dit de "deep Learning".

Il en résulte une perte du sens de la responsabilité chez l’opérateur accompagnée d’une diminution de la vigilance ou d’un excès de confiance dans le cas d’un pilotage à distance, ou même d’un total abandon de la prise de décision à un robot autonome si ce dernier est laissé à lui-même.

Par ailleurs, le robot ne peut non plus être tenu pour responsable de ses erreurs, car :

• est-il capable d’évaluer complètement une situation et les conséquences de ses actions ?
• a-t-il toutes les informations pragmatiques nécessaires ?
• a-t-il toutes les règles de droit, principes et normes nécessaires pour régler son comportement ?
• et le bon jugement pour les appliquer ?
• et la conscience sociale ? La notion d’altérité ?
• quelle limite trouver entre risque et sécurité ? Que signifient ces termes pour un robot ?
• peut-il ressentir de la douleur, du remords, etc. dans le cas d’une faute ? Que lui importent les sanctions ?

Il est évident que les robots ne sont pas des agents capables de raisonnements éthiques ou moraux, ni dans une éthique maximaliste, ni même dans une éthique minimaliste. Comme toute machine, les robots ne sont ni moraux ni immoraux, mais amoraux : c’est l’utilisation qui en est faite, sous-jacente à des décisions humaines, qui déterminera si leur emploi est ou non éthique et si le comportement du robot est in fine éthique ou non. Le robot intelligent doit être considéré comme une machine ordinaire, à savoir un outil, pour pouvoir entrer dans la législation existante liée à son emploi, par exemple le code de l’aviation pour les drones.

Comment alors régler la question de l’autonomie soulevée ci-dessus puisque dans ce cas le robot sort du contrôle de l’utilisateur et/ou du fabricant ? Faudrait-il dès lors que le dialogue homme-robot soit éthique de manière à ce que le robot ne se dérobe pas au contrôle de l’opérateur et qu’il soit considéré comme un agent rationnel, responsable de ses actes de discours comme sujet dialoguant et sincère dans une situation de dialogue, en informant en permanence l’opérateur de ses actions même si celui-ci ne lui demande pas ?

Le dialogue homme-robot doit-il être éthique ?

Comme on l’a vu, la théorie des jeux permet de modéliser un concept d’équité que nous allons mettre à profit à partir des principes suivants :

1. le dialogue homme-robot ne peut pas être éthique, mais il peut être équitable ;
2. la vérité des faits reste contextuelle et découle d’une délibération collective reposant sur des normes communautaires et non universelles. Elle ne peut être établie qu’une fois la mission du robot terminée ;
3. la responsabilité des agents est fondée sur leur engagement, non sur une quelconque rationalité a priori ou sur un calcul utilitariste. Le robot doit participer de cet engagement en fournissant des données authentiques, dialoguant « sincèrement » [7] et fournissant les raisons de ses décisions (plus prosaïquement gardant une trace de ses actions), ce qui dessine des contraintes pour la programmation du robot et l’amélioration progressive de son comportement de manière récursive.

Il s’agit donc de rendre explicites les engagements mutuels des co-agents de manière à les obliger à assumer leurs responsabilités et à les sanctionner en cas de faute. Il convient alors de définir les intérêts (valeurs de gains) du robot dans notre modèle de jeu, par exemple de la manière suivante :

1. « servir » l’humain qui l’utilise, donc viser à maintenir le gain = +être(conjoint) ;
2. être « sincère » dans le dialogue au niveau des échanges, donc viser à maximiser le gain = +être(soi) ;
3. avoir un comportement « engagé », donc viser à augmenter son utilité de gain = +avoir(monde) ou de gain = +avoir(autre), c’est-à-dire à maximiser les intérêts de l’opérateur.

L’utilisation du robot autonome sera alors « éthique » si :

1. un accord préalable établit les règles ou les normes comportementales du robot entre agents concernés, avant chaque mission du robot ;
2. l’opérateur et/ou l’usager restent présents et engagés dans l’interaction homme-robot pendant toute la durée de la mission ;
3. les règles sont réajustées dans un souci d’amélioration permanente d’une mission à la suivante.

Dès lors, le déroulement d’une mission, telle celle d’un drone militaire, pourrait être le suivant :

1. délibérer avant la mission pour définir les normes ou les règles propres à la mission et engager tous les acteurs dans leurs responsabilités (donneurs d’ordre, opérateurs, équipes techniques, etc.) ;
2. maintenir les opérateurs humains engagés dans l’interaction avec le robot même, ce surtout si le robot a un comportement autonome ;
3. fixer des limites techniques au robot (par exemple l’empêcher de tirer si les conditions perceptives ne sont pas bonnes ou que deux cibles se présentent dans le viseur [8]) ;
4. lui faire enregistrer toutes les données sensibles de la mission, notamment exiger qu’il fournisse des « faits » au retour de mission (sorte de boîte noire), faits qui doivent être authentifiés ;
5. examiner ces faits au regard des règles établies au début de la mission, les justifier et les juger dans un souci d’amélioration progressive.

_______________________________________________________

[1] Astounding Science Fiction Magazine, 1942.

[2] Charte éthique des robots, 2007.

[3] Ethique de la recherche en robotique

[4] Alain Bensoussan, Droit des robots, Paris, Larcier, Collection Lexing, 2015.

[5] Olivier Sarre, Le Droit des robots

[6] L'éthique aujourd'hui. Maximalistes et minimalistes, Paris, Gallimard, 2007.

[7] Par exemple, ne pas cacher ou falsifier des faits ou des données comme dans le cas des logiciels falsifiés sur la pollution des moteurs diesel de Volkswagen.

[8] Comme dans le cas de l’opération conduite en novembre 2001 contre le chef des opérations militaires d’Al-Qaïda aux alentours de Kaboul : les deux missiles tirés depuis un Predator ont effectivement atteint leur but, mais au moment de l’impact la voiture visée croisait un car scolaire, ce qui provoqua de nombreuses victimes parmi les enfants.