Qui est responsable d’une erreur de l’IA ? Le rôle du salarié, de l’équipe et de l’entreprise

Pourquoi une réponse erronée de l’IA peut sembler crédible

Une équipe prépare une offre, et un modèle de langage fournit trois sources détaillées. Elles sont correctement présentées, avec auteurs et dates. C’est le client qui, le premier, s’aperçoit qu’une des publications n’existe pas. Le problème ne tient pas seulement à l’« hallucination » du modèle. Ce qui compte aussi, c’est que des phrases au ton assuré et une mise en page familière ont facilité l’acceptation de la réponse sans vérification. Il est facile de juger la fiabilité d’une information sur sa seule forme, alors que la forme ne confirme pas les faits.

Goddard et ses coauteurs ont décrit, dans une revue de la littérature, la tendance à s’appuyer excessivement sur les suggestions des systèmes automatisés. Une grande partie des analyses portait sur la médecine et sur d’anciens systèmes d’aide à la décision ; il ne faut donc pas transposer mécaniquement ces résultats à tous les modèles génératifs. Le mécanisme reste néanmoins éclairant : même un spécialiste compétent peut cesser de chercher l’erreur lorsque la suggestion est présentée de manière convaincante et que le temps manque. C’est pourquoi la seule phrase « on a pourtant vérifié » ne suffit pas si l’on ne précise pas ce qui a réellement été vérifié.

Pourquoi la responsabilité ne repose pas uniquement sur la personne qui valide

Un document peut passer entre plusieurs mains. La première personne choisit l’outil et les données, la deuxième rédige le texte, la troisième vérifie les chiffres, la quatrième signe l’offre finale. Si l’entreprise n’a pas défini les rôles, après l’erreur, chacun montrera son voisin du doigt. « Je pensais que le service d’analyse vérifiait ça » se heurtera à « moi, je ne relisais que la langue ». La responsabilité juridique doit être évaluée séparément, mais les causes organisationnelles de l’erreur peuvent être établies tout de suite.

Il est utile de distinguer quatre questions : qui pouvait utiliser l’outil, qui était responsable de l’exactitude des données, qui avait le droit de bloquer l’envoi et qui devait garantir les conditions du contrôle. Le salarié qui effectue la dernière étape peut avoir une obligation de diligence, mais l’entreprise peut en même temps être responsable d’une procédure défaillante. Il n’est pas fondé de rejeter automatiquement toute la faute sur la personne qui a eu le moins de prise sur la manière de travailler. Il serait tout aussi erroné d’affirmer que, puisque « l’IA s’est trompée », personne n’a plus à tirer de leçons.

Deux exemples montrent la différence entre l’usage d’un outil et le contrôle

Dans l’affaire américaine bien connue Mata contre Avianca, des avocats ont déposé un document contenant des décisions de justice inexistantes, générées à l’aide de l’IA. Le tribunal a prononcé des sanctions. C’est un exemple de défaut de vérification des sources invoquées, et non la preuve que toute erreur d’un modèle entraîne automatiquement la même responsabilité. Dans une entreprise polonaise, un problème plus quotidien peut consister à envoyer à un client une offre comportant des conditions de paiement erronées, parce que personne n’a comparé le texte au tableau validé.

Imaginons deux équipes. Dans la première, le contrôle se résume à trois minutes de lecture superficielle du rapport généré. Dans la seconde, la personne chargée du contrôle dispose d’une liste de champs à vérifier, d’un accès aux données d’origine et du droit de renvoyer le document pour correction. Dans les deux équipes, un humain vérifie le résultat, mais seule la seconde lui donne une réelle possibilité de le contester. La conclusion n’est pas qu’il faut créer une lourde bureaucratie pour chaque message, mais qu’il faut adapter le contrôle à l’importance de la décision et au risque d’erreur.

Ce que les règles sur l’IA disent du contrôle humain, et ce qu’elles ne tranchent pas

Le règlement européen sur l’IA (AI Act) définit notamment les exigences de contrôle humain des systèmes classés à haut risque et les obligations des entités qui les utilisent. Ses dispositions distinguent des catégories d’usages et des dates d’application pour les différentes exigences. Il ne faut donc pas affirmer que chaque conversation professionnelle avec un chatbot relève d’un régime identique, ni que l’AI Act à lui seul détermine qui est personnellement responsable de chaque préjudice.

En pratique, le manager devrait vérifier quel système l’entreprise utilise, à quoi il est destiné et quelles règles découlent des réglementations, contrats et procédures applicables. Pour les usages qui touchent à la santé, à l’emploi ou à des droits humains essentiels, les enjeux et les obligations ne sont pas les mêmes que pour la rédaction d’une note neutre. Pour l’équipe, l’essentiel est que la décision d’utiliser l’outil ait un responsable et que la personne chargée de la vérification ait les compétences, le temps et le droit de dire : « Je ne valide pas ce résultat. »

Comment organiser le contrôle avant que le document ne sorte de l’entreprise

Il est utile de préparer une courte matrice des responsabilités. Pour chaque processus, on note : l’usage autorisé de l’IA, les données d’entrée, les éléments de contrôle obligatoires, la personne qui valide et la façon de signaler un problème. Pour un rapport chiffré, l’essentiel sera de comparer les valeurs avec le système source. Pour un texte juridique, de vérifier les dispositions dans une source à jour. Pour une information médicale, de faire réaliser une vérification de fond appropriée par une personne habilitée. L’outil d’IA ne remplace pas cette vérification.

Une telle matrice n’est pas conçue pour désigner le futur coupable. Elle doit faciliter la prise de décision et l’interception des erreurs. Si un salarié découvre que l’outil a inventé une source, il doit savoir à qui le signaler, sans craindre d’être sanctionné pour avoir interrompu le travail. Le manager devrait aussi vérifier que, sous la pression des délais, il n’exige pas de l’équipe un contrôle matériellement impossible à réaliser. Sans conditions adéquates, la responsabilité n’est plus qu’une déclaration.

Comment parler après une erreur pour que la suivante soit signalée plus tôt

Lorsqu’une erreur est découverte, la première question devrait être : « Comment limitons-nous ses conséquences ? » Ensuite seulement, il est utile de reconstituer l’enchaînement des faits. Au lieu de commencer par « Qui a laissé passer ça ? », le manager peut dire : « Des chiffres erronés figurent dans le document. Regardons d’où ils viennent, quels contrôles nous avons effectués et à quel endroit le processus a cessé de fonctionner. » Cette façon de mener la discussion ne revient pas à tolérer les négligences. Elle permet de distinguer une tâche floue, un contrôle insuffisant et le non-respect délibéré de ce qui avait été convenu.

L’analyse doit déboucher sur une décision : on corrige la consigne, on ajoute un contrôle, on limite l’usage ou on forme l’équipe. Déterminez aussi qui informera les destinataires de la correction, et dans quel délai. Si un salarié avait auparavant mis en garde contre le risque, le manager devrait en tenir compte. L’équipe remarque vite si reconnaître une erreur mène à l’apprentissage ou uniquement à la recherche d’un bouc émissaire. C’est de cette réaction que dépend la question de savoir si la prochaine erreur sera signalée tôt.

Derrière les conséquences d’une erreur de l’IA, il y a à la fois les décisions des utilisateurs et l’organisation du processus. Il faut déterminer qui vérifie les informations, ce que cette personne vérifie exactement et si elle dispose des conditions d’un contrôle efficace. Après une erreur, on répare d’abord les conséquences, puis on établit les responsabilités et on modifie la procédure qui a laissé passer l’erreur.

Comment Empatyzer accompagne une conversation difficile après une erreur impliquant l’IA

Après l’envoi d’une offre erronée, le manager peut décrire les faits à Em : ce qui a été produit à l’aide de l’IA, qui devait vérifier le document, ce qui avait été convenu et ce qu’a dit le client. Em l’aidera à préparer une réunion au cours de laquelle les participants n’auront pas à se défendre contre une présomption de faute, sans pour autant éviter la discussion sur leurs obligations. Avec Em, il peut formuler des questions qui séparent les faits des jugements, s’entraîner à réagir à la phrase « mais tout le monde faisait comme ça » et préparer un feedback clair. Si les participants font partie de la même organisation, les conseils relationnels disponibles aident à adapter le langage aux différentes manières de réagir à la critique et à l’incertitude ; ils ne donnent cependant pas accès aux diagnostics personnels des autres. Dans le contexte de l’équipe, Em peut aider à planifier le retour sur l’incident et la présentation des nouvelles règles de collaboration. Ainsi, le manager n’arrive pas en réunion avec une simple liste de questions sur les coupables, mais avec un plan de correction des erreurs, une répartition claire des responsabilités et une manière d’encourager le signalement plus précoce des problèmes.