Vysvětlitelná AI nestačí: systematická review ukazuje, proč XAI neřeší automation bias
Přehled 35 studií s téměř 20 000 účastníky mapuje, proč lidé slepě důvěřují AI doporučením. Vysvětlení pomáhá méně, než jsme doufali, a profesionální zkušenost zůstává nejsilnější obranou.
Foto: Unsplash / Zach M
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Přehled 35 studií s téměř 20 000 účastníky mapuje, proč lidé slepě důvěřují AI doporučením. Vysvětlení pomáhá méně, než jsme doufali, a profesionální zkušenost zůstává nejsilnější obranou.
✅ Peer-reviewed · Publikováno červenec 2025 · Data sbírána 2015 až 2025 (přehledový článek) · AI & Society (Springer)
Co studie zjistila
Automation bias, tedy tendence nadměrně důvěřovat automatizovaným doporučením, patří mezi nejcitovanější problémy spolupráce člověka s AI. Romeo a Conti (2025) provedli systematickou review 35 studií, která tento fenomén mapuje napříč disciplínami, od kognitivní psychologie po human factors engineering.
Hlavní zjištění review překvapí tím, co říká o řešeních. Vysvětlitelná AI (XAI), která se v posledních letech prosazuje jako hlavní protilék na slepou důvěru v AI, funguje nespolehlivě. Vysvětlení mohou zvýšit vnímanou přijatelnost systému, ale často nezlepšují přesnost rozhodování. Horší: příliš technická nebo naopak příliš zjednodušená vysvětlení mohou paradoxně posílit nesprávnou důvěru, zejména u méně zkušených uživatelů s nízkou AI literací.
📚 Automation bias (Parasuraman & Riley, 1997)
Tendence lidí nadměrně důvěřovat automatizovaným systémům, i když ty prokazatelně chybují. Projevuje se dvěma způsoby: chybami z opomenutí (člověk si nevšimne chyby systému, protože ji aktivně nekontroluje) a chybami z přijetí (člověk přijme chybné doporučení systému, i když má k dispozici protichůdné informace). Poprvé systematicky popsán v kontextu automatizace v letectví, dnes klíčový problém v AI asistovaném rozhodování v medicíně, právu a veřejné správě.
Co naopak funguje? Profesionální zkušenost. Review identifikuje široký konsenzus napříč studiemi, že odborná praxe zůstává nejsilnějším ochranným faktorem proti automation bias. Zkušený lékař, soudce nebo analytik dokáže rozpoznat, kdy AI doporučení nedává smysl, protože má vybudovaný vlastní mentální model domény.
Druhý efektivní mechanismus je vynucená verifikace. Systémy, které vyžadují, aby uživatel aktivně ověřil AI doporučení před jeho přijetím (nikoli jen pasivně kliknul "souhlasím"), prokazatelně snižují míru slepého přijímání. Autoři to označují za "nejschůdnější a nejvlivnější bod intervence".
Jak to zjistili
Romeo a Conti postupovali podle PRISMA 2020 guidelines pro systematické review. Prohledali čtyři databáze (SCOPUS, ScienceDirect, PubMed, Google Scholar) a analyzovali studie publikované mezi lednem 2015 a dubnem 2025. Z celkového výběru prošlo kritérii 35 studií, všechny kvantitativní.
🔍 PRISMA 2020
Standardizovaný protokol pro provádění a reportování systematických review a meta-analýz. Vyžaduje transparentní dokumentaci vyhledávací strategie, kritérií pro zahrnutí/vyloučení studií, procesu selekce a hodnocení kvality. PRISMA checklist obsahuje 27 položek. Dodržování PRISMA zvyšuje reprodukovatelnost a umožňuje čtenáři posoudit, zda review pokrývá relevantní literaturu a neselektuje výsledky.
Celkový vzorek napříč 35 studiemi zahrnoval 19 774 účastníků. Studie pokrývaly domény od zdravotnictví přes právo po veřejnou správu, s interdisciplinárním záběrem zahrnujícím kognitivní psychologii, human factors engineering, HCI a neuroscience.
Autoři zkoumali pět výzkumných otázek: Co způsobuje automation bias? Vyskytuje se společně s jinými kognitivními biasy? Může XAI nebo transparentnost bias zmírnit? Je potřeba AI literace? Existují individuální rozdíly v náchylnosti?
Proč je to důležité
Review přichází v kritickém momentu. EU AI Act vstupuje v plnou platnost v srpnu 2026 a článek 14 vyžaduje "lidský dohled" u vysoce rizikových AI systémů. Mnoho organizací implementuje XAI jako cestu ke compliance: "přidáme vysvětlení a máme splněno". Romeo a Conti ukazují, že tato strategie je nedostatečná.
⚡ EU AI Act, článek 14: Human oversight
Článek 14 EU AI Act požaduje, aby vysoce rizikové AI systémy byly navrženy tak, aby nad nimi mohl efektivně dohlížet člověk. Konkrétně: člověk musí být schopen porozumět výstupům systému, rozhodnout se je nepoužít nebo přepsat, a v případě potřeby systém zastavit. Klíčové slovo je "efektivně". Pokud člověk formálně dohlíží, ale kvůli automation bias slepě přijímá AI doporučení, požadavek článku 14 není splněn, i když je technicky v systému tlačítko "zamítnout". Právě proto je Romeo a Contiho review relevantní pro compliance: ukazuje, že samotná přítomnost vysvětlení nezaručuje efektivní dohled.
⚡ Cognitive miser hypothesis (Fiske & Taylor, 1991)
Teorie, podle které lidé přirozeně minimalizují kognitivní úsilí. Místo důkladné analýzy každé situace používáme mentální zkratky (heuristiky). V kontextu AI to znamená: pokud AI systém nabídne zdánlivě rozumné doporučení, kognitivní miser ho přijme, protože ověřování vyžaduje úsilí. Automation bias je v podstatě specializovanou formou kognitivního šetření, ke které AI systémy přímo vybízejí tím, že nabízejí "hotové odpovědi".
Implikace pro praxi jsou trojí. Za prvé, XAI nemůže být jedinou strategií pro zmírnění automation bias. Musí být doplněna o designové vzory, které vynucují aktivní verifikaci, například požadavek na formulaci vlastního úsudku před zobrazením AI doporučení.
Za druhé, investice do profesionálního rozvoje a doménové expertízy zůstává relevantní i v éře AI. Zkušenost není jen "staromódní" alternativa k technologickému řešení. Je to funkční obranyschopnost proti slepé důvěře, kterou technologie samotná nezajistí.
Za třetí, pro české prostředí a implementaci AI Act: organizace, které nasazují AI do rozhodovacích procesů (zdravotnictví, justice, veřejná správa), potřebují kombinovaný přístup. Vysvětlitelnost ano, ale spolu s tréninkem na rozpoznávání chyb, designem rozhraní, který podporuje kritické myšlení, a dostatečnou doménovou expertízou obsluhy.
Limity a otevřené otázky
Review má metodologická omezení, která autoři přiznávají. Zahrnuty jsou pouze kvantitativní studie, čímž vypadávají kvalitativní výzkumy, které by mohly odhalit mechanismy automation bias obtížně zachytitelné dotazníky nebo experimenty.
Jazykové omezení je rovněž podstatné: review pokrývá pouze anglicky psané studie. Výzkum v jiných jazycích (zejména čínský, korejský a japonský HCI výzkum) zůstává mimo záběr.
Protože jde o review studií z období 2015 až 2025, starší studie pracovaly s jednodušší automatizací (rule-based systémy, starší ML modely). Automation bias vůči generativní AI, která produkuje přesvědčivé volné texty a argumentace, může mít odlišný charakter. Review tento posun reflektuje jen částečně.
Mezi sběrem dat (review uzavřena dubnem 2025) a publikací (červenec 2025) uplynuly přibližně 3 měsíce, což je u review článku standardní tempo.
Zdroj obrázku: Unsplash / Zach M
Zdroje
- Romeo, G. & Conti, D. (2025). Exploring automation bias in human-AI collaboration: a review and implications for explainable AI. AI & Society.
- Parasuraman, R. & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2).
- Wickens, C. D. et al. (2015). Complacency and Automation Bias in the Use of Imperfect Automation. Human Factors, 57(5).