Google AMIE v The Lancet: AI vedla rozhovory s pacienty před návštěvou lékaře, dohled nemusel ani jednou zastavit

Výzkumníci Googlu a bostonského Beth Israel Deaconess Medical Center (BIDMC) publikovali v The Lancet první studii, ve které diagnostická AI AMIE mluvila se skutečnými pacienty v běžném provozu. Podle tiskové zprávy BIDMC se do studie zapojilo 114 pacientů ambulance primární péče. Rozhovor s AI před akutní návštěvou a následně i samotnou návštěvu u lékaře jich absolvovalo 98. Pro Google jde podle jeho blogu o vůbec první publikaci v hlavním časopise The Lancet.

Studie neodpovídá na otázku, jestli AI nahradí lékaře. Odpovídá na skromnější a pro praxi důležitější otázku: dá se AI bezpečně pustit k pacientovi jako první kontakt, když nad ní bdí člověk? Autoři ji sami označují za studii proveditelnosti. Netestovala, jestli AI zlepšuje zdravotní výsledky pacientů.

Bezpečnost: žádné zastavení, jedna halucinace

Každý rozhovor v reálném čase sledoval atestovaný internista s pravomocí ho ukončit podle předem daných kritérií: bezprostřední riziko poškození, výrazný stres pacienta, možná klinická škoda nebo žádost pacienta. Žádný z 98 rozhovorů zastavit nemusel. Dozorující lékaři podle BIDMC zachytili jednu halucinaci a v pěti případech pacientovi doplnili klinické vysvětlení.

Ve 44 případech lékaři po návštěvě hodnotili přepis rozhovoru nebo souhrn od AMIE. V 75 % jim podle BIDMC pomohl s přípravou a v 57 % mohl ovlivnit jejich postup. Jeden případ hodnotitelé označili za spíše škodlivý: pacient mohl znejistět, protože AMIE mezi možnými diagnózami uvedla lymfom.

Co přesně znamená 90 %

Nejcitovanější číslo vyžaduje pozornost. Google píše, že diferenciální diagnózy AMIE se shodovaly s konečnou diagnózou v 90 % případů. Diferenciální diagnóza je seznam možných vysvětlení obtíží, nikoli jedna odpověď. Konečnou diagnózu stanovili tři internisté, kteří neznali výstup AMIE, z dokumentace pacienta osm týdnů po návštěvě.

Preprint studie, který pracuje se stejnými 98 pacienty, metriku rozepisuje: konečná diagnóza byla mezi prvními sedmi kandidáty AMIE v 88 z 98 případů (90 %). Mezi prvními třemi byla v 73 případech (75 %) a na prvním místě v 55 (56 %).

Neznamená to tedy, že AI „trefí diagnózu v devíti případech z deseti“. Znamená to, že správná odpověď se téměř vždy objevila v jejím užším seznamu. Pro nástroj, který má lékaři připravit podklady, je to užitečná vlastnost. Pro samostatné rozhodování by nestačila.

Ve slepém srovnání s lékaři primární péče vyšla podle preprintu kvalita diferenciálních diagnóz i vhodnost a bezpečnost léčebných plánů bez statisticky významného rozdílu. Plány lékařů ale hodnotitelé označili za výrazně praktičtější a nákladově efektivnější.

Limity

Studie proběhla na jednom pracovišti. Pacienti byli podle preprintu převážně mladší, vzdělaní a technicky zdatní. Studie vyřadila těhotné a lidi s psychickými obtížemi a vyžadovala angličtinu a přístup k počítači. Nepřetržitý lékařský dohled je navíc drahý a ve velkém měřítku se nemusí uživit. Pacienti podle BIDMC zmiňovali obavy o důvěrnost a o to, nakolik je chatbot upřímný a důvěryhodný. Studii financoval Alphabet a hlavní autor Adam Rodman byl během části výzkumu hostujícím výzkumníkem v Googlu.

Google sám píše, že k posouzení AI v kontaktu s pacienty ve velkém jsou potřeba rozsáhlejší klinické studie. Hodnota této studie je proto hlavně metodická. Po letech benchmarků a simulovaných pacientů ukazuje, jak vypadá opatrný první krok AI do skutečné ordinace: s člověkem nad každým rozhovorem a s výsledky, které je nutné číst pozorně.