Wer ist für KI-Fehler verantwortlich? Die Rolle von Beschäftigten, Team und Unternehmen

Warum eine falsche KI-Antwort glaubwürdig wirken kann

Das Team bereitet ein Angebot vor, und ein Sprachmodell nennt drei detaillierte Quellen. Sie sind korrekt angegeben, mit Autoren und Datumsangaben. Erst der Kunde bemerkt, dass eine der Publikationen nicht existiert. Das Problem ist nicht nur die „Halluzination“ des Modells. Wichtig ist auch, dass selbstsicher klingende Sätze und der vertraute Aufbau des Dokuments es erleichtert haben, die Antwort ungeprüft zu übernehmen. Es ist leicht, die Glaubwürdigkeit einer Information allein nach ihrer Form zu beurteilen, obwohl die Form keine Fakten bestätigt.

Goddard und Kollegen haben in einer Übersichtsarbeit die Neigung beschrieben, sich übermäßig auf die Vorschläge automatisierter Systeme zu verlassen. Ein großer Teil der Analysen betraf die Medizin und ältere Systeme zur Entscheidungsunterstützung, daher sollten die Ergebnisse nicht mechanisch auf alle generativen Modelle übertragen werden. Der Mechanismus bleibt jedoch aufschlussreich: Selbst eine kompetente Fachkraft kann aufhören, nach Fehlern zu suchen, wenn ein Vorschlag überzeugend präsentiert wird und die Zeit knapp ist. Deshalb reicht der Satz „Wir haben das doch geprüft“ nicht aus, solange nicht klar ist, was tatsächlich geprüft wurde.

Warum die Verantwortung nicht allein bei der Person liegt, die freigibt

Ein Dokument kann durch mehrere Hände gehen. Die erste Person wählt Tool und Daten aus, die zweite redigiert den Text, die dritte prüft die Zahlen, die vierte unterschreibt das fertige Angebot. Sind im Unternehmen keine Rollen festgelegt, zeigt nach einem Fehler jeder auf den anderen. „Ich dachte, die Analyseabteilung hätte das geprüft“ prallt dann auf „Ich habe nur die Sprache bewertet“. Die rechtliche Verantwortung muss gesondert beurteilt werden, die organisatorischen Ursachen des Fehlers lassen sich aber sofort klären.

Es hilft, vier Fragen zu trennen: Wer durfte das Tool nutzen, wer war für die Richtigkeit der Daten verantwortlich, wer hatte das Recht, den Versand zu stoppen, und wer sollte die Voraussetzungen für die Kontrolle schaffen? Die Person, die den letzten Schritt ausführt, kann eine Sorgfaltspflicht haben, während das Unternehmen gleichzeitig für ein fehlerhaftes Verfahren verantwortlich sein kann. Es ist nicht gerechtfertigt, die gesamte Schuld automatisch auf die Person abzuwälzen, die am wenigsten über die Arbeitsweise zu entscheiden hatte. Ebenso falsch wäre die Feststellung, dass niemand mehr Lehren daraus ziehen muss, weil „sich die KI geirrt hat“.

Zwei Beispiele zeigen den Unterschied zwischen dem Einsatz eines Tools und der Kontrolle

Im bekannten US-Fall Mata v. Avianca reichten Anwälte einen Schriftsatz mit nicht existierenden, mithilfe von KI generierten Gerichtsentscheidungen ein. Das Gericht verhängte Sanktionen. Das ist ein Beispiel dafür, dass zitierte Quellen nicht überprüft wurden, und kein Beleg dafür, dass jeder Fehler eines Modells automatisch dieselbe Verantwortung nach sich zieht. In einem polnischen Unternehmen kann ein alltäglicheres Problem darin bestehen, dass einem Kunden ein Angebot mit falschen Zahlungsbedingungen geschickt wird, weil niemand den Text mit der freigegebenen Tabelle abgeglichen hat.

Stellen wir uns zwei Teams vor. Im ersten bedeutet Kontrolle drei Minuten flüchtiges Lesen des generierten Berichts. Im zweiten hat die prüfende Person eine Liste der zu kontrollierenden Felder, Zugang zu den Ursprungsdaten und das Recht, das Dokument zur Überarbeitung zurückzugeben. In beiden Teams prüft ein Mensch das Ergebnis, aber nur im zweiten hat er eine echte Möglichkeit, es infrage zu stellen. Die Schlussfolgerung lautet nicht, für jede Nachricht eine riesige Bürokratie aufzubauen, sondern die Kontrolle an die Tragweite der Entscheidung und das Fehlerrisiko anzupassen.

Was KI-Vorschriften zur Aufsicht sagen – und was sie nicht entscheiden

Die KI-Verordnung der EU (AI Act) legt unter anderem Anforderungen an die menschliche Aufsicht über Systeme fest, die als hochriskant eingestuft sind, sowie Pflichten der Betreiber, die sie einsetzen. Die Vorschriften unterscheiden Kategorien von Anwendungen und Fristen, ab denen einzelne Anforderungen gelten. Man sollte also nicht behaupten, dass jedes Chatbot-Gespräch im Unternehmen demselben Regime unterliegt oder dass der AI Act selbst entscheidet, wer persönlich für jeden Schaden haftet.

In der Praxis sollte die Führungskraft prüfen, welches System das Unternehmen nutzt, wofür es bestimmt ist und welche Regeln sich aus den einschlägigen Vorschriften, Verträgen und Verfahren ergeben. Bei Anwendungen, die Gesundheit, Beschäftigung oder wesentliche Menschenrechte betreffen, steht mehr auf dem Spiel, und die Pflichten sind andere als beim Redigieren einer neutralen Notiz. Für das Team ist am wichtigsten, dass die Entscheidung über den Einsatz des Tools eine verantwortliche Person hat und die prüfende Person über Kompetenz, Zeit und das Recht verfügt zu sagen: „Dieses Ergebnis gebe ich nicht frei.“

Wie Sie die Kontrolle festlegen, bevor Material das Unternehmen verlässt

Es lohnt sich, eine kurze Verantwortungsmatrix zu erstellen. Für jeden Prozess wird festgehalten: zugelassene KI-Anwendung, Eingabedaten, Pflichtelemente der Kontrolle, freigebende Person und Weg zur Meldung von Problemen. Bei einem Zahlenbericht ist der Abgleich der Werte mit dem Quellsystem entscheidend. Bei einem juristischen Text die Prüfung der Vorschriften in einer aktuellen Quelle. Bei medizinischen Informationen die fachliche Prüfung durch eine dazu befugte Person. Ein KI-Tool ersetzt diese Prüfung nicht.

Eine solche Matrix wird nicht erstellt, um schon im Voraus einen Schuldigen zu bestimmen. Sie soll Entscheidungen erleichtern und helfen, Fehler aufzuhalten. Entdeckt ein Mitarbeiter, dass das Tool eine Quelle erfunden hat, muss er wissen, wem er das meldet – ohne Angst, dafür bestraft zu werden, dass er die Arbeit unterbricht. Die Führungskraft sollte auch prüfen, ob sie unter Termindruck vom Team eine Kontrolle verlangt, die schlicht nicht machbar ist. Verantwortung ohne angemessene Bedingungen wird zur bloßen Absichtserklärung.

Wie Sie nach einem Fehler sprechen, damit der nächste früher gemeldet wird

Kommt ein Fehler ans Licht, sollte die erste Frage lauten: „Wie begrenzen wir die Folgen?“ Erst danach lohnt es sich, den Ablauf zu rekonstruieren. Statt mit „Wer hat das durchgehen lassen?“ zu beginnen, kann die Führungskraft sagen: „Im Dokument standen falsche Zahlen. Schauen wir uns an, woher sie stammen, welche Kontrollen wir durchgeführt haben und wo der Prozess versagt hat.“ Eine solche Gesprächsführung bedeutet nicht, Nachlässigkeit hinzunehmen. Sie ermöglicht es, eine unklare Aufgabe, eine unzureichende Kontrolle und das bewusste Übergehen von Absprachen voneinander zu unterscheiden.

Nach der Analyse muss eine Entscheidung stehen: Wir verbessern die Anleitung, ergänzen eine Kontrolle, schränken die Anwendung ein oder schulen das Team. Legen Sie auch fest, wer die Empfänger über die Korrektur informiert und bis wann. Hat ein Mitarbeiter zuvor vor dem Risiko gewarnt, sollte die Führungskraft das berücksichtigen. Ein Team merkt schnell, ob das Eingeständnis eines Fehlers zum Lernen führt oder nur zur Suche nach einem Sündenbock. Von dieser Reaktion hängt ab, ob der nächste Fehler früh offengelegt wird.

Hinter den Folgen eines KI-Fehlers stehen sowohl Entscheidungen der Nutzer als auch die Organisation des Prozesses. Es muss festgelegt sein, wer Informationen prüft, was genau geprüft wird und ob die Voraussetzungen für eine wirksame Kontrolle gegeben sind. Nach einem Fehler werden zuerst die Folgen behoben, dann wird die Verantwortung geklärt und das Verfahren geändert, das den Fehler durchgelassen hat.

Wie Empatyzer ein schwieriges Gespräch nach einem Fehler mit KI-Beteiligung unterstützt

Nachdem ein fehlerhaftes Angebot verschickt wurde, kann die Führungskraft Em die Fakten schildern: was mithilfe von KI entstanden ist, wer das Dokument prüfen sollte, welche Absprachen es gab und was der Kunde gesagt hat. Em hilft, ein Meeting vorzubereiten, in dem sich niemand gegen eine Schuldvermutung verteidigen muss, in dem aber auch niemand dem Gespräch über die eigenen Pflichten ausweicht. Mit Em lassen sich Fragen formulieren, die Fakten von Bewertungen trennen, die Reaktion auf den Satz „Das haben doch alle so gemacht“ üben und ein klares Feedback vorbereiten. Gehören die Beteiligten derselben Organisation an, helfen die verfügbaren Beziehungstipps, die Sprache an unterschiedliche Arten anzupassen, auf Kritik und Unsicherheit zu reagieren; sie öffnen jedoch keinen Zugang zu privaten Diagnosen anderer. Im Teamkontext kann Em helfen, die Auswertung des Vorfalls und die Vorstellung der neuen Regeln für die Zusammenarbeit zu planen. So geht die Führungskraft nicht nur mit einer Liste von Fragen nach Schuldigen ins Meeting, sondern mit einem Plan zur Behebung der Fehler, einer klaren Verteilung der Verantwortung und einem Weg, zu früheren Meldungen von Problemen zu ermutigen.