Règles et directives: ambiguïté et catastrophes

MstfKckVG / Pixabay

La compréhension sans ambiguïté des modes opératoires et des instructions est un élément majeur de la sécurité des installations industrielles, mais aussi de la productivité. La majorité des accidents industriels est le fait d’erreurs humaines parmi lesquelles les mauvaises interprétations des consignes figurent en bonne place. Cet enjeu est occulté par le management, mais revient sur le devant de la scène depuis que nous devons discuter avec des intelligences artificielles.

En situation nominale, un humain se trompe environ 1 fois sur 1000. Sous stress, avec une prise de décision rapide, l’erreur peut atteindre 90%[1]. En situation de conflit militaire, des études essentiellement américaines montrent une probabilité de victimes par tir fratricide allant de dix à vingt pour cent dans les conflits modernes, de plus en plus technologiques[2]. En fait, 42% de ces catastrophes proviennent de problèmes d’information ou de communication, et 27% des procédures elles-mêmes [3].

Il ne s’agit pas que de soucis de langage. Les erreurs relevant des biais cognitifs sont aussi fréquentes que celles relevant de l’imprécision des modes opératoires, justifiant probablement aussi les études DARPA sur les neurosciences[4]. Les méthodes mise en œuvre pour contrer les mauvaises compréhensions vont de la checklist (utilisée largement dans le secteur médical) à des méthodes plus interactives mobilisant le management intermédiaire sur le mode formulation/restitution par reformulation (utilisée particulièrement dans la chaine de commandement militaire).

Ces problématiques sont également à rapprocher des efforts de recherche sur les intelligences artificielles et la façon de communiquer avec elles, avec parfois des articles qui sont très probablement des fraudes[5]. Les études relevant de la sémiotique (Peirce) ou même de la sémiologie [6] vont de la logique mathématique à la science-fiction et présentent une certaine synchronisation avec des périodes historiques de guerre ou d’après-guerre, qui sont des temps de prise de conscience de l’importance vitale du sujet mais qui ne semblent pas durer, avec un retour au « business as usual » qui restaure les conditions d’apparition d’une nouvelle crise.

Les langages artificiels

Les langages artificiels notamment, ont souvent une intention politique (esperanto) [7], mystique (lingua ignota) [8] ou scientifique dans l’optique par exemple développés afin de vérifier l’hypothèse de Sapir-Whorf (le langage influence la pensée) [9], rarement technique ou économique. Trois initiatives sont toutefois plus avancées d’un point de vue technique et opérationnel, mais uniquement en langue anglaise.

Dérivé de la sémantique générale de Korzybski [10], E-prime (E’) est une version de l’anglais dans laquelle la désambiguation est faite par suppression systématique du verbe « to be » dont les sept fonctions (identité, appartenance à une classe, inclusion, prédication, auxiliaire, existence et localisation) rendent le langage flou [11]. Elle consiste par exemple à remplace « the cat is in the room » par « I see the cat in the room », et oblige à réintroduire l’observateur dans la proposition et donc d’inclure une relativité dans l’observation qui perd sont caractère absolu.

Dans les années 90, il est apparu, aux États-Unis, une problématique de désambiguation que nous pouvons résumer par « que devons-nous dire à une civilisation du futur (10000 ans) ne nous connaissant pas et n’ayant aucune référence commune avec notre culture qu’elle explore sur un site de stockage de déchets nucléaires dont la demi-vie est de plusieurs centaines de milliers d’années ?». Les travaux, confiés au laboratoire SANDIA [12] , ont exploré de nombreuses pistes allant de sortes de salles de cours à la construction de mythes artificiels. La communication entre les millénaires [13] n’a pas vraiment, de manière publique en tout cas, fait école et bien peu des solutions examinées soient réellement opérationnelles.

Le « simplified technical English » (STE) a quant à lui été développé par l’industrie aéronautique (European Association of Aerospace Manufacturers) pour ses notices techniques[14]. Il consiste en une liste réduite de mots, qui ne peuvent pas être employés dans plusieurs sens ou type (par exemple to close/close to), et de règles de grammaire rigides et sans exception.

De cette synthèse, il apparaît que la maturité technologique de la désambiguation du langage est extrêmement basse, probablement à TRL1 [15] et très loin du niveau 3 où une décision de développement pourrait être faite. Si les besoins existent (défense, pharmacie, médecine…), il n’est pas clairement établi qu’une opportunité de développement existe et il est probable que le domaine continue, bien qu’il soit probablement critique, à vivre des études académiques sporadiques.

La récente expérience de Microsoft, contraint de désactiver une IA (Tay) devenue raciste en discutant avec des adolescents américains est souvent évoquée pour rassurer sur le handicap de l’IA par rapport à la pensée critique humaine. Malheureusement, les IA ne valent que par ce qu’elles ont appris. Tay n’a pas réagi différemment de nombreux adolescents qui finissent par se faire convaincre et endoctriner sur des forums politiques ou religieux.

Au delà de l’aspect scientifique, la clarté devient un enjeu politique et stratégique, et les IA, le deep learning, le deep belief peuvent aussi être utilisés pour cela.

 

 

 

Références

 

[1] “Human Error Probabilities,” in Reliability, Maintainability and Risk, Elsevier, 2011, pp. 395–397.

[2] C. M. Webb and K. J. Hewett, “An Analysis of U. S. Army Fratricide Incidents during the Global War on Terror (11 September 2001 to 31 March 2008).” U.S. Army Aeromedical Research Laboratory, 15-Mar-2010.

[3] J. Gadsden and C. Outteridge, “What value Analysis? The historical Record of Fratricide,” in Proceedings from the 23rd International Symposiem on Military Operational Research, 2006.

[4] Darpa, Opportunities in Neuroscience for Future Army Applications. 2009.

[5] R. Briggs, “Knowledge representation in Sanskrit and Artificial Intelligence,” AI Magazine, pp. 32–39, 1985.

[6] F. de Saussure, C. Bally, and T. De Mauro, Cours de linguistique générale, Éd. critique, [Nachdr. der Ausg. 1916]. Paris: Payot, 2005.

[7] P. G. Forster, The Esperanto movement. The Hague ; New York: Mouton, 1982.

[8] H. de Bingen, Riesencodex. 1200.

[9] B. L. Whorf, “Science and linguistics,” MIT, 1940.

[10]   A. Korzybski, Manhood of humanity. [Place of publication not identified]: Inst Of General Semantic, 1950.

[11]   J. D. David Bourland, “TO BE OR NOT TO BE: E-Prime As a Tool for Critical Thinking,” ETC Rev. Gen. Semant., vol. 46, no. 3, pp. pp. 202–211, 1989.

[12]   K. M. Trauth, S. C. Hora, and R. V. Guzowski, “Expert Judgment on Markers to Deter Inadvertent Human Intrusion into the Waste Isolation Plant.” Sandia National Laboratories, Nov-1993.

[13]   T. A. Sebeok, “Communication measures to bridge ten millennia. [Contains glossary],” BMI/ONWI-532, 6705990, Apr. 1984.

[14]   AECMA, “Simplified Technical English.” AECMA, 1980.

[15]   “ISO/FDIS 16290 – Space systems – Definition of the Technology Readiness Levels (TRLs) and their criteria of assessment.”

 

Télécharger cet article au format PDF ou ePub

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.