Quel est l’impact de l’IA sur la vigilance des pilotes de l’air ? La confiance excessive dans les systèmes automatisés tend à endormir notre vigilance. L’intégration croissante de l’intelligence artificielle va-t-elle augmenter le nombre d’accidents aériens ?
Pilot call it the situation awareness or situation conscience. C’est-à-dire un degré d’alerte maximale et de conscience de tous les paramètres de votre vol. Ce qui vous permettra d’anticiper les étapes suivantes et de réagir immédiatement, efficacement, aux imprévus.
Le problème du pilote automatique est qu’il permet aux pilotes de voler – avec des centaines de passagers – without being fully aware of their aircraft's situation.
L’impact de l’IA sur la vigilance des pilotes : un accident mortel parfaitement évitable
Dans son livre, Jack J. Hersh décrit deux situations presque identiques. Sauf que la première a résulté en la mort de plus de cinquante personnes, y compris le pilote et sa copilote. La seconde s’est conclue par un atterrissage en douceur et sans accroc.
The first situation is that of Colgan Flight 3407 in February 2009. A routine flight from Newark to Buffalo with two experienced pilots, Captain Marvin Renslow and his co-pilot Rebecca Shaw. They were flying a Bombardier DCH-8-400, also known as the Q-400, an aircraft that both pilots had mastered for years.
As Hersh explains so well, it was a chain of small snags that led to the fatal error. Renslow hadn't slept much, Shaw was suffering from a cold. It was freezing that evening, so Renslow triggered the de-icing system.
Just before landing, Renslow reduced his speed. But, instead of sticking to the stérile cockpit – qui veut qu’on ne parle rien d’autre que de la manœuvre d’atterrissage – Renslow et Shaw ont continué à discuter de leurs expériences de vol par temps glacé. On entend Shaw éternuer et renifler entre deux phrases sur l’enregistrement de la boîte noire. Pendant ce temps, le pilote automatique continuait sa descente.
Soudain, l’accélérateur s’est mis à vibrer et une sirène a retenti dans le cockpit. C’est le signal du décrochage.
Un petit mot d’explication. Pour se maintenir en l’air, un avion doit avancer à une certaine vitesse. Dès qu’il n’atteint plus cette vitesse, les ailes ne le portent plus et il descend. C’est ce qui s’est passé avec le vol 3407.
To increase his speed, Renslow would have had to take a nose dive. Like when you're cycling down a hill. At some point, the plane would have gained enough speed for its wings to carry it again.
When an aircraft flies in icy conditions, it needs more speed to stay aloft. The ice weighs down and significantly alters the shape of the wings, and therefore their lift.
Il semble que Renslow, tout occupé à sa conversation avec Shaw, ait oublié qu’il avait enclenché le dégivrage. Et le besoin de prendre plus de vitesse pour atterrir en douceur.
When he heard the stall signal, he panicked. And instead of pitching down, he pulled like crazy on his control column to regain altitude. So, on the contrary, he forced the plane to straighten its nose. In doing so, it lost speed and its wings could no longer carry it. And the plane fell like an iron. An iron carrying fifty people.
L’impact de l’IA sur la vigilance des pilotes : un accident mortel parfaitement évité
La même mésaventure est arrivée quelques semaines plus tard à une collègue de Shaw et Renslow. Sauf, qu’elle n’était pas en pleine conversation avec son copilote et qu’elle atterrissait en mode manuel. Quand les signaux de décrochage se sont déclenchés, elle a immédiatement compris et elle a accompli la bonne manœuvre : elle a poussé sur le manche à balai pour regagner de la vitesse. Et a sauvé sa vie et celle de ses passagers.
Renslow et sa collègue ont suivi le même entraînement, ont tous les deux des milliers d’heures de vol à leur actif, tous les deux connaissaient parfaitement et l’avion et la route qu’ils avaient parcourue de nombreuses fois.
But the colleague was aware of her situation.
Excessive reliance on automatic systems leads to a kind of torpor, a drowsiness of vigilance.
Tweet
Most humans are unable to maintain a sufficient level of attention when sitting idle for hours on end. And not just on planes. Even if we don't all have responsibility for hundreds of passengers, we do have an obligation to do a good job.
One of the risks of artificial intelligence is that it numbs our capacity for attention and vigilance.
Overconfidence in automated systems: the key to the mystery
La clé de ce mystère réside dans une expérience qu’a dirigée Raja Parasumaran, expert en neuro-ergonomie, une discipline scientifique qui examine les mécanismes du cerveau sous-jacents aux comportements humains. Il s’est particulièrement concentré sur les interactions entre humains et machines.
Parasumaran définit l’automation comme « un appareil ou un système qui accomplit – partiellement ou intégralement – une fonction qui pouvait ou aurait pu être exécutée par un opérateur humain ».
To test pilots' vigilance in relation to their confidence in the automatic system, Parasumaran developed a unique and highly revealing experiment. The pilots were placed in front of three screens showing :
- le vol d’un avion tel que les pilotes le perçoivent lorsqu’ils sont aux commandes
- the fuel gauge
- des informations sur l’état des moteurs
What Parasumaran wanted to measure, c’était l’impact du degré de confiance de ces pilotes dans leur système de pilotage automatique.
He divided the pilots into three groups. The pilots then spent two hours ‘flying’ along a given trajectory. As in a real flight, they had to maintain their heading while regularly checking the fuel gauge and engine data. Two lights, one red and one green, told them whether the gauge was working normally. If a gauge was faulty, the autopilot fixed the problem and indicated by relighting the green light that everything was working normally again.
Mais, Parasumaran et son équipe procédèrent à quelques « ajustements » du système. L’ordinateur ne réglerait pas le problème de la jauge et la lampe resterait verte. Constamment. Les pilotes devraient donc se rendre compte, en lisant les données relatives aux moteurs, qu’une jauge ne fonctionnait pas correctement. Ils devraient ainsi appuyer sur un bouton pour restaurer manuellement cette fonction. Pour mesurer l’impact de la confiance dans le système, l’équipe introduisit deux variantes : dans un cas, le système serait fiable à 86,5 % ; dans l’autre, il ne le serait qu’à 56,5%, soit à peine un peu plus d’une fois sur deux.
The pilots who had to deal with the faulty system one time out of two remained vigilant. They pressed the button whenever necessary to repair the gauge. Those who ‘flew’ with a reliable system were very quickly oblivious to the real state of their engines. C’est donc bien la confiance dans la fiabilité du système automatique qui a créé la différence de vigilance entre pilotes aux compétences similaires.
La confiance systématique aux automations a créé un état de somnolence propice à l’accident.
Quel est l’impact de l’IA sur la vigilance des pilotes ? Des choix stratégiques s’imposent
Ces systèmes que nous avons évoqués dans cet article sont des modèles d’automation. Ils remplacent les pilotes pour certaines tâches. Les systèmes d’intelligence artificielle vont plus loin : ils peuvent prendre des décisions à la place des pilotes. Quel est l’impact de l’IA sur la vigilance des pilotes de l’air ? Devons-nous nous attendre à de prochains accidents aériens similaires ?
Les IA, parfois, prennent des décisions aberrantes. Comme celle de l’image ci-dessous, où le professeur a trois bras au lieu de deux. Ceci est dérisoire et plutôt drôle. Mais, en sécurité aérienne, une erreur, aussi minime soit-elle, peut avoir des conséquences catastrophiques, voire mortelle.
Dario Amodei, un des fondateurs d’Anthropic, l’entreprise qui produit Claude, un des modèles d’IA générative les plus performants, insiste sur les dangers d’une IA incontrôlée. Et il réclame une réglementation en la matière pour 2025. L’intelligence artificielle dispose d’un potentiel énorme, dont nous n’apercevons encore que les prémisses. Mais, elle cache aussi, dans le cœur de ses modèles, des surprises qui pourraient se révéler moins réjouissantes qu’une image anatomiquement fausse.
Did you enjoy this article? Subscribe to our newsletterIt's free and you won't miss any of our publications.