Quel est l’impact de l’IA sur la vigilance des pilotes de l’air ? La confiance excessive dans les systèmes automatisés tend à endormir notre vigilance. L’intégration croissante de l’intelligence artificielle va-t-elle augmenter le nombre d’accidents aériens ?

Les aviateurs appellent cela la situation awareness ou la conscience de la situation. C’est-à-dire un degré d’alerte maximale et de conscience de tous les paramètres de votre vol. Ce qui vous permettra d’anticiper les étapes suivantes et de réagir immédiatement, efficacement, aux imprévus.

Le problème du pilote automatique est qu’il permet aux pilotes de voler – avec des centaines de passagers – sans être pleinement conscient de la situation de leur appareil. 

L’impact de l’IA sur la vigilance des pilotes : un accident mortel parfaitement évitable

Dans son livre, Jack J. Hersh décrit deux situations presque identiques. Sauf que la première a résulté en la mort de plus de cinquante personnes, y compris le pilote et sa copilote. La seconde s’est conclue par un atterrissage en douceur et sans accroc.

La première situation est celle du vol Colgan 3407 en février 2009. Un vol de routine de Newark à Buffalo avec deux pilotes expérimentés, le capitaine Marvin Renslow et sa copilote Rebecca Shaw. Ils volaient sur un Bombardier DCH-8-400 appelé aussi Q-400, un appareil que les deux pilotes maîtrisaient depuis des années.

Comme l’explique très bien Hersh, c’est une chaîne de petits accrocs qui a entraîné l’erreur fatale. Renslow avait peu dormi, Shaw souffrait d’un refroidissement. Il gelait ce soir-là et donc Renslow a déclenché le système de dégivrage. 

Un peu avant d’atterrir, Renslow a réduit sa vitesse. Mais, au lieu de se tenir à la consigne du stérile cockpit – qui veut qu’on ne parle rien d’autre que de la manœuvre d’atterrissage – Renslow et Shaw ont continué à discuter de leurs expériences de vol par temps glacé. On entend Shaw éternuer et renifler entre deux phrases sur l’enregistrement de la boîte noire. Pendant ce temps, le pilote automatique continuait sa descente. 

Soudain, l’accélérateur s’est mis à vibrer et une sirène a retenti dans le cockpit. C’est le signal du décrochage. 

Un petit mot d’explication. Pour se maintenir en l’air, un avion doit avancer à une certaine vitesse. Dès qu’il n’atteint plus cette vitesse, les ailes ne le portent plus et il descend. C’est ce qui s’est passé avec le vol 3407. 

Pour augmenter sa vitesse, il aurait fallu que Renslow pique du nez (celui de l’avion) pour gagner en vitesse. Comme quand vous descendez une côte à vélo. À un moment, l’avion aurait pris suffisamment de vitesse pour que ses ailes le portent à nouveau.

Lorsqu’un avion vole dans des conditions de givre, il a besoin de plus de vitesse pour se maintenir en l’air. La glace pèse et modifie sensiblement la forme des ailes, et donc leur portance.

Il semble que Renslow, tout occupé à sa conversation avec Shaw, ait oublié qu’il avait enclenché le dégivrage. Et le besoin de prendre plus de vitesse pour atterrir en douceur.

Au signal de décrochage, il a paniqué. Et au lieu de piquer du nez, il a tiré comme un forcené sur son manche à balai pour reprendre de l’altitude. Donc, au contraire, il a obligé l’avion à redresser le nez. Ce faisant, il a perdu de la vitesse, ses ailes ne le portaient plus du tout. Et l’avion est tombé comme un fer à repasser. Un fer à repasser qui transportait cinquante personnes.

L’impact de l’IA sur la vigilance des pilotes : un accident mortel parfaitement évité

La même mésaventure est arrivée quelques semaines plus tard à une collègue de Shaw et Renslow. Sauf, qu’elle n’était pas en pleine conversation avec son copilote et qu’elle atterrissait en mode manuel. Quand les signaux de décrochage se sont déclenchés, elle a immédiatement compris et elle a accompli la bonne manœuvre : elle a poussé sur le manche à balai pour regagner de la vitesse. Et a sauvé sa vie et celle de ses passagers.

Renslow et sa collègue ont suivi le même entraînement, ont tous les deux des milliers d’heures de vol à leur actif, tous les deux connaissaient parfaitement et l’avion et la route qu’ils avaient parcourue de nombreuses fois.

Mais la collègue était consciente de sa situation. 

La confiance excessive dans les systèmes automatiques engendre une sorte de torpeur, d’endormissement de la vigilance. 

Tweet

La plupart des humains sont incapables de maintenir un degré d’attention suffisante en restant inactifs pendant des heures. Pas seulement dans les avions. Même si nous n’avons pas tous la responsabilité de centaines de passagers, nous avons l’obligation du travail bien fait.

L’un des risques de l’intelligence artificielle est d’engourdir notre capacité d’attention et de vigilance.

La confiance excessive dans les systèmes automatisés : la clé du mystère

La clé de ce mystère réside dans une expérience qu’a dirigée Raja Parasumaran, expert en neuro-ergonomie, une discipline scientifique qui examine les mécanismes du cerveau sous-jacents aux comportements humains. Il s’est particulièrement concentré sur les interactions entre humains et machines.

Parasumaran définit l’automation comme « un appareil ou un système qui accomplit – partiellement ou intégralement – une fonction qui pouvait ou aurait pu être exécutée par un opérateur humain ».

Pour tester la vigilance des pilotes en fonction de leur confiance dans le système automatique, Parasumaran a mis au point une expérience unique et très révélatrice. Les pilotes étaient placés devant trois écrans représentant :

• le vol d’un avion tel que les pilotes le perçoivent lorsqu’ils sont aux commandes
• la jauge de carburant
• des informations sur l’état des moteurs

Ce que voulait mesurer Parasumaran, c’était l’impact du degré de confiance de ces pilotes dans leur système de pilotage automatique.

Il a donc divisé les pilotes en trois groupes. Les pilotes passaient ensuite deux heures à « voler » selon une trajectoire donnée. Ils devaient, comme dans un vol réel, maintenir leur cap tout en vérifiant régulièrement la jauge de carburant et les données des moteurs. Deux lampes, une rouge et une verte, leur indiquaient si la jauge fonctionnait normalement. Si une jauge est défectueuse, le pilote automatique règle le problème et indique par le rallumage de la lampe verte que tout fonctionne à nouveau normalement.

Mais, Parasumaran et son équipe procédèrent à quelques « ajustements » du système. L’ordinateur ne réglerait pas le problème de la jauge et la lampe resterait verte. Constamment. Les pilotes devraient donc se rendre compte, en lisant les données relatives aux moteurs, qu’une jauge ne fonctionnait pas correctement. Ils devraient ainsi appuyer sur un bouton pour restaurer manuellement cette fonction. Pour mesurer l’impact de la confiance dans le système, l’équipe introduisit deux variantes : dans un cas, le système serait fiable à 86,5 % ; dans l’autre, il ne le serait qu’à 56,5%, soit à peine un peu plus d’une fois sur deux.

Les pilotes qui ont eu affaire au système défaillant une fois sur deux ont conservé toute leur vigilance. Ils ont appuyé sur le bouton chaque fois que nécessaire pour réparer la jauge. Ceux qui « pilotaient » avec un système fiable se sont montrés très rapidement inconscients de la situation réelle de leurs moteurs. C’est donc bien la confiance dans la fiabilité du système automatique qui a créé la différence de vigilance entre pilotes aux compétences similaires.

La confiance systématique aux automations a créé un état de somnolence propice à l’accident.

Quel est l’impact de l’IA sur la vigilance des pilotes ? Des choix stratégiques s’imposent

Ces systèmes que nous avons évoqués dans cet article sont des modèles d’automation. Ils remplacent les pilotes pour certaines tâches. Les systèmes d’intelligence artificielle vont plus loin : ils peuvent prendre des décisions à la place des pilotes. Quel est l’impact de l’IA sur la vigilance des pilotes de l’air ? Devons-nous nous attendre à de prochains accidents aériens similaires ?

Les IA, parfois, prennent des décisions aberrantes. Comme celle de l’image ci-dessous, où le professeur a trois bras au lieu de deux. Ceci est dérisoire et plutôt drôle. Mais, en sécurité aérienne, une erreur, aussi minime soit-elle, peut avoir des conséquences catastrophiques, voire mortelle.

Dario Amodei, un des fondateurs d’Anthropic, l’entreprise qui produit Claude, un des modèles d’IA générative les plus performants, insiste sur les dangers d’une IA incontrôlée. Et il réclame une réglementation en la matière pour 2025. L’intelligence artificielle dispose d’un potentiel énorme, dont nous n’apercevons encore que les prémisses. Mais, elle cache aussi, dans le cœur de ses modèles, des surprises qui pourraient se révéler moins réjouissantes qu’une image anatomiquement fausse.

¿Te ha gustado este artículo? Suscríbete. a nuestro boletín informativoEs gratis y no te perderás ninguna de nuestras publicaciones.