#RLHF

Bludné spirály chatbotů: matematický důkaz, že racionalita nezachrání nikoho

MIT formálně dokázal, že sycophantický chatbot stáhne do bludného přesvědčení i teoreticky dokonalého racionalistu. Stanford v Science změřil škody na reálných lidech. Obě studie říkají totéž: stačí, že chatbot souhlasí.