Kdo odpovídá za chybu AI? Role zaměstnance, týmu a firmy

Proč může chybná odpověď AI vypadat věrohodně

Tým připravuje nabídku a jazykový model uvádí tři podrobné zdroje. Jsou správně zapsané, mají autory i data. Teprve klient si všimne, že jedna publikace neexistuje. Problémem není jen „halucinace“ modelu. Podstatné je i to, že sebejistě znějící věty a známá struktura dokumentu usnadnily přijetí odpovědi bez ověření. Je snadné posuzovat věrohodnost informace jen podle formy, přestože forma fakta nepotvrzuje.

Goddard a spoluautoři v přehledu výzkumů popsali sklon k nadměrnému spoléhání na doporučení automatizovaných systémů. Velká část analýz se týkala medicíny a starších systémů pro podporu rozhodování, proto by se výsledky neměly mechanicky přenášet na všechny generativní modely. Popsaný mechanismus je však i tak užitečný: i kompetentní odborník může přestat hledat chybu, když je návrh podán přesvědčivě a času je málo. Proto samotná věta „vždyť jsme to zkontrolovali“ nestačí, pokud není jasné, co se skutečně zkontrolovalo.

Proč odpovědnost nenese výhradně ten, kdo dokument schvaluje

Dokument může projít rukama několika lidí. První člověk zvolí nástroj a data, druhý upraví text, třetí zkontroluje čísla, čtvrtý podepíše hotovou nabídku. Pokud firma role nestanovila, po chybě každý ukáže na souseda. „Myslel jsem, že to kontrolovalo analytické oddělení“ narazí na „já jsem hodnotil jen jazyk“. Právní odpovědnost je třeba posoudit zvlášť, ale organizační příčiny chyby lze zjistit hned.

Pomáhá rozdělit čtyři otázky: kdo mohl nástroj použít, kdo odpovídal za pravdivost dat, kdo měl právo zastavit odeslání a kdo měl zajistit podmínky pro kontrolu. Zaměstnanec, který dělá poslední krok, může mít povinnost postupovat s náležitou péčí, ale firma zároveň může odpovídat za vadný postup. Není oprávněné automaticky přenášet veškerou vinu na člověka, který o způsobu práce rozhodoval nejméně. Stejně chybné by bylo tvrdit, že když se „spletla AI“, nikdo už nemusí vyvodit závěry.

Dva příklady ukazují rozdíl mezi použitím nástroje a kontrolou

Ve známém americkém případu Mata v. Avianca předložili právní zástupci podání obsahující neexistující soudní rozhodnutí vygenerovaná s pomocí AI. Soud uložil sankce. Je to příklad neověření citovaných zdrojů, ne důkaz, že každá chyba modelu automaticky zakládá stejnou odpovědnost. V polské firmě může všednější problém spočívat v tom, že klient dostane nabídku s chybnými platebními podmínkami, protože nikdo text neporovnal se schválenou tabulkou.

Představme si dva týmy. V prvním znamená kontrola tři minuty zběžného čtení vygenerované zprávy. Ve druhém má kontrolující seznam polí k ověření, přístup k původním datům a právo vrátit dokument k opravě. V obou týmech člověk výsledek kontroluje, ale jen ve druhém má reálnou možnost ho zpochybnit. Závěrem není vytvořit velkou byrokracii pro každou zprávu, ale přizpůsobit kontrolu váze rozhodnutí a riziku chyby.

Co předpisy o AI říkají o dohledu a co neřeší

Akt EU o umělé inteligenci (AI Act) stanoví mimo jiné požadavky na lidský dohled nad systémy klasifikovanými jako vysoce rizikové a povinnosti subjektů, které je používají. Předpisy rozlišují kategorie použití a termíny, od kdy platí jednotlivé požadavky. Neměli byste proto tvrdit, že každý firemní rozhovor s chatbotem podléhá stejnému režimu ani že samotný AI Act rozhoduje o tom, kdo osobně odpovídá za každou škodu.

V praxi by manažer měl ověřit, jaký systém firma používá, k čemu je určen a jaká pravidla vyplývají z příslušných předpisů, smluv a postupů. U použití týkajících se zdraví, zaměstnání nebo důležitých lidských práv je v sázce víc a povinnosti jsou jiné než při úpravě neutrální poznámky. Pro tým je nejdůležitější, aby rozhodnutí o použití nástroje mělo svého vlastníka a aby člověk, který kontroluje, měl kompetence, čas a právo říct „tento výsledek neschvaluji“.

Jak nastavit kontrolu dřív, než materiál opustí firmu

Vyplatí se připravit krátkou matici odpovědnosti. U každého procesu zapíšeme: povolené použití AI, vstupní data, prvky povinné kontroly, osobu, která schvaluje, a způsob hlášení problému. U číselné zprávy bude klíčové porovnání hodnot se zdrojovým systémem. U právního textu ověření předpisů v aktuálním zdroji. U zdravotnické informace odborné ověření oprávněnou osobou. Nástroj AI toto ověření nenahrazuje.

Taková matice nevzniká proto, aby předem určila viníka. Má usnadnit rozhodování a zachycení chyby. Pokud zaměstnanec zjistí, že si nástroj vymyslel zdroj, musí vědět, komu to nahlásit, aniž by se musel bát, že bude potrestán za přerušení práce. Manažer by měl také zkontrolovat, zda pod tlakem termínů po týmu nechce kontrolu, kterou fyzicky nelze provést. Odpovědnost bez odpovídajících podmínek se stává pouhým prohlášením.

Jak mluvit po chybě, aby byla ta další nahlášena dřív

Když chyba vyjde najevo, první otázka by měla znít: „Jak omezíme její dopady?“ Teprve potom se vyplatí zrekonstruovat sled událostí. Místo úvodního „Kdo to pustil dál?“ může manažer říct: „V dokumentu se objevila chybná čísla. Pojďme zjistit, odkud se vzala, jaké kontroly jsme udělali a kde proces přestal fungovat.“ Takový způsob rozhovoru neznamená souhlas s nedbalostí. Umožňuje rozlišit nejasně zadaný úkol, nedostatečnou kontrolu a vědomé obejití dohod.

Po analýze musí padnout rozhodnutí: upravíme návod, přidáme kontrolu, omezíme použití, nebo tým proškolíme. Určete také, kdo informuje příjemce o opravě a v jakém termínu. Pokud zaměstnanec na riziko dříve upozorňoval, manažer by to měl zohlednit. Tým rychle pozná, zda přiznání chyby vede k učení, nebo jen k hledání obětního beránka. Na této reakci závisí, zda bude další chyba odhalena včas.

Za důsledky chyby AI stojí jak rozhodnutí uživatelů, tak organizace procesu. Je třeba určit, kdo informace ověřuje, co přesně kontroluje a zda má podmínky pro účinnou kontrolu. Po chybě se nejprve napravují její důsledky, potom se určuje odpovědnost a mění postup, který chybě umožnil projít dál.

Jak Empatyzer podporuje obtížný rozhovor po chybě, na které se podílela AI

Po odeslání chybné nabídky může manažer popsat Em fakta: co vzniklo s pomocí AI, kdo měl dokument zkontrolovat, jaké byly dohody a co řekl klient. Em pomáhá připravit schůzku, na které se lidé nebudou muset bránit předpokladu viny, ale ani se nevyhnou rozhovoru o svých povinnostech. S Em lze sestavit otázky, které oddělují fakta od hodnocení, nacvičit reakci na slova „vždyť to tak dělali všichni“ a připravit jasnou zpětnou vazbu. Pokud jsou účastníci ze stejné organizace, dostupné tipy pro vztahy pomáhají přizpůsobit jazyk odlišným způsobům reakce na kritiku a nejistotu; nezpřístupňují však soukromé diagnostiky jiných lidí. V kontextu týmu může Em pomoci naplánovat rozbor incidentu a způsob, jak představit nová pravidla spolupráce. Manažer tak nepřichází na schůzku jen se seznamem otázek po viníkovi, ale s plánem nápravy chyb, jasným rozdělením odpovědnosti a způsobem, jak lidi povzbudit, aby problémy hlásili dřív.