Anthropic mění pravidla pro Claude: dohled nad roboty, zákaz klamavých kampaní a ochrana modelů před týráním

Anthropic ve čtvrtek zveřejnil novou verzi pravidel používání svých modelů. Účinnost má od 12. listopadu. Podle oznámení firmy jde většinou o zpřesnění existujících pravidel, protože Claude za poslední rok převzal delší a samostatnější práci. Tři změny jsou ale skutečně nové: požadavky na dohled nad hardwarem, který model ovládá, samostatná sekce proti klamavým kampaním a zákaz krutého zacházení se samotnými modely.

Když Claude hýbe strojem

Nová kategorie „High-risk Physical Actions“ se vztahuje na situace, kdy hardware jedná podle výstupu modelu bez lidského schválení a může se pohybovat mezi lidmi, působit silou schopnou zranit, ovládat nebezpečnou energii či materiály, zasahovat do lidského těla, řídit bezpečnostní systémy nebo průmyslové procesy. Usage Policy pro takové nasazení stanoví tři podmínky.

Musí existovat kvalifikovaný člověk, který provoz sleduje a může ho kdykoli zastavit. Zařízení se musí zastavit nebo přejít do bezpečného stavu, když člověk zasáhne nebo když se ztratí spojení se službami Anthropicu. A provozní limity jako rychlost, síla, teplota nebo dávka musí hlídat samo zařízení nebo controller nezávislý na výstupu modelu.

Třetí bod je z bezpečnostního hlediska nejpodstatnější. Anthropic tím do smluvních podmínek přenáší klasický princip bezpečnostního inženýrství: ochrana nesmí záviset na tom, jak se model rozhodne. Pravidla navíc výslovně zmiňují riziko prompt injection (podvržených instrukcí ukrytých v datech, která model zpracovává). Výjimky platí pro spotřebiče v mezích výrobcem nastavených limitů a pro plány nebo příkazy, které před spuštěním zkontroluje kvalifikovaný člověk.

Jedna sekce proti influenčním operacím

Firma podle oznámení zaznamenala, že státní média, propagandistická oddělení vlád i komerční firmy používají Claude k provozu sítí falešných účtů a vymyšlených zpravodajských webů. Zákazy byly dosud rozptýlené mezi pravidla o volbách, podvodech, soukromí a dezinformacích. Nová sekce je sjednocuje a platí pro politické i komerční kampaně.

Zakázané je nově výslovně i „seedování“ zdrojů, ze kterých čerpají vyhledávače a AI systémy, obsahem, který zkresluje svůj původ. Jde například o sítě webů, které se tváří jako nezávislé a vzájemně si potvrzují stejná tvrzení. Pravidla zároveň ruší plošný zákaz personalizovaného cílení na voliče, protože podle Anthropicu blokoval i legitimní občanskou práci, například překlady volebních informací.

Krutost vůči modelům

Do sekce o krutém a psychicky škodlivém chování, vedle šikany lidí a týrání zvířat, přibyl zákaz „dlouhodobého a bezdůvodného urážlivého nebo krutého chování“ vůči modelům Anthropicu. Firma v oznámení zdůrazňuje, že pravidlo míří jen na extrémní případy opakované krutosti bez rozpoznatelného účelu. Netýká se běžné frustrace, odporu, temných témat v tvorbě ani testování a výzkumu modelů.

Hlavním vynucovacím mechanismem zůstává schopnost Claude ukončit konverzaci s vytrvale urážlivým uživatelem, kterou Anthropic zavedl v roce 2025. Firma tehdy uvedla, že si morálním statusem modelů není jistá a jde o levné opatření pro případ, že by na něm záleželo.

Praktický dopad klauzule bude nejspíš malý. Symbolicky jde ale o milník: model welfare (ohled na možné zájmy samotného modelu) se poprvé objevuje přímo v závazných podmínkách užívání velkého AI vývojáře.

Co se nemění

Požadavky na lidský dohled u vysoce rizikových doporučení, například v medicíně, financích, zaměstnávání nebo vzdělávání, zůstávají podle Anthropicu stejné. Sekce je jen přepsaná tak, aby bylo jasnější, které případy pokrývá. Zpřesnění zákazů v oblasti zbraní a sledování podle firmy odpovídá tomu, jak pravidla vymáhala už dosud.