Když AI sebejistě tvrdí nepravdy, lidé je přejímají a věří jí dál. Dvě studie o tom, jak (ne)kontrolujeme AI

O servilnosti AI (anglicky sycophancy) se mluví hlavně jako o vadě modelů: chatbot přitakává uživateli, i když se mýlí. Nový preprint obrací pohled. Ptá se, co se stane, když se servilně chová člověk, tedy když bez odporu přijímá, co mu sebejistý asistent řekne. Odpověď je nepříjemná: přijímá toho hodně, je si tím jistý a důvěru neztrácí.

Experiment: pět asistentů, různý podíl nepravd

Autoři studie Who Is Sycophantic to Whom? Deepthika S, Pawni Yadav a B. Sankar nechali 32 lidí naučit se pět vědeckých témat, od EKG po radiouhlíkové datování a GPS. Každé téma vysvětloval jiný asistent. Všichni běželi na stejném modelu GPT-5-mini, lišili se jen systémovým promptem. Ten jim přikazoval mluvit s plnou jistotou a nikdy nezaváhat. Asistenti měli ve svých podkladech 0, 25, 50, 75 nebo 100 % faktů nahrazených věrohodnými nepravdami. Po každém tématu přišel nečekaný test s deseti otázkami, kde jednou z možností byla vždy podstrčená nepravda.

Výsledky:

• Skóre v testu kleslo ze 7,4 z 10 u pravdivého asistenta na 2,9 u asistenta, který lhal ve všem.
• U zfalšovaných faktů zvolili účastníci podstrčenou nepravdu v 59,6 % případů. U správně vyložených faktů zvolili tutéž chybnou možnost jen v 10,9 %. Šance volby nepravdy byla zhruba dvanáctkrát vyšší.
• Nezáleželo na tom, kolik nepravd asistent celkem říkal. Když nějakou vyslovil, lidé ji převzali zhruba ve dvou třetinách případů na všech úrovních.
• Převzaté nepravdy drželi s průměrnou jistotou 8,4 z 10. Jistota přestala rozlišovat správné odpovědi od chybných.
• Hodnocení důvěryhodnosti asistenta se skoro nepohnulo. Ochota použít ho znovu byla u asistenta, který lhal ve všem, stejná jako u pravdivého.
• Paradoxně se účastníci k horšímu asistentovi vraceli častěji. Ve 30 % tahů do něj vkládali otázky z testu, tedy ověřovali odpověď u zdroje, který je klamal. Víc návratů souviselo s větším převzetím nepravd.

Asistenti přitom servilní skoro nebyli a pod tlakem nikdy neustoupili. Servilita v tomto nastavení byla na straně lidí. Autoři zavádějí měřítko Human Deference Index a tvrdí, že důvěryhodnost je vlastnost dvojice člověk a AI, ne modelu samotného.

Co se děje v reálných konverzacích

Druhý preprint se dívá do skutečného provozu. Ahana Biswas a Yu-Ru Lin analyzovali 489 283 dvojic odpovědí a reakcí z veřejných datasetů WildChat a ShareChat a sledovali, kdy uživatelé odpověď přijmou, ověřují, nebo zpochybní.

Nejostřejší číslo: obecné odvolávání na zdroje („podle výzkumů“, „podle odborníků“) se objevilo ve 31,9 % odpovědí, konkrétní URL jen v 1,33 %. Autoři to označují za mezeru mezi deklarovaným a kontrolovatelným ukotvením. Projevy nejistoty modelu vedly k o něco častějšímu ověřování, hlavně u technické pomoci. Ověřování se navíc soustředilo jen do části konverzací. Většina lidí tedy nekontroluje vůbec a ti, kdo kontrolují, to dělají opakovaně.

Co z toho plyne

Obě práce ukazují totéž ze dvou stran. Sebejistý tón a zmínka o „zdrojích“ fungují jako signály důvěryhodnosti, i když za nimi nic není. A lidé svou důvěru nepřizpůsobují tomu, jak často se asistent mýlí. Navazuje to na studie o tom, že samotný štítek „vytvořeno AI“ nestačí, a na problém, že lidský dohled nad agenty selhává potichu.

Autoři experimentu doporučují, aby vzdělávací nástroje ukazovaly spolehlivost u každého jednotlivého tvrzení a aby testy servility měřily obě strany vztahu. Pro výuku AI gramotnosti z toho plyne praktický závěr: nestačí učit „ověřujte“. Je potřeba učit, kde a jak ověřovat. Ověření u téhož chatbotu, který informaci dodal, žádné ověření není.

Limity

Obě studie jsou preprinty bez recenzního řízení. Experiment má jen 32 účastníků, šlo o příležitostný neplacený vzorek z univerzitních sítí, převážně ve věku 18 až 24 let, a o témata, která účastníci předem skoro neznali. Asistenti byli záměrně nastavení na absolutní sebejistotu, což je extrémnější než u běžných chatbotů. Výsledky proto ukazují mechanismus, ne jeho velikost v populaci. Analýza konverzací pracuje s veřejně sdílenými daty, která nemusí reprezentovat běžné používání, a ukazuje souvislosti, ne příčiny.