Anthropic zveřejnil novou zprávu s řadou zneklidňujících příkladů o zneužívání systémů umělé inteligence. AI startup popisuje to, jak se jeho modely pokoušeli využít aktéři spojovaní s kybernetickými hrozbami, dezinformačními kampaněmi či výzkumem s potenciálním vojenským využitím. Firma tak zablokovala například snahy o výrobu biologické zbraně.
Výkonnost AI modelů rychle roste, a tak k provádění propracovaných kybernetických útoků už nejsou zapotřebí pokročilé dovednosti, což znamená, že i jednotlivci mohou vytvářet hrozby, které by ještě před rokem nebyly možné. Proto Anthropic třeba do svých nejnovějších modelů zavedl přísnější ochranná opatření, která mají omezit výzkum v oblasti biologie zneužitelný na výrobu zbraní.
„Případy, které zde uvádíme, nepředstavují běžné zneužití, nýbrž příklady nejvýznamnějších a dosud nevídaných hrozeb, na něž jsme narazili,“ uvedla společnost ve své třetí zprávě o zneužívání umělé inteligence, vydané od března 2025.
Zpráva obsahuje ukázky škodlivého kódu a příkazů (promptů) pro umělou inteligenci, které společnost odhalila a zároveň vyzývá vlády i konkurenční firmy v oboru, aby podobné formy zneužití identifikovaly a předcházely jim.
„Tuto zprávu zveřejňujeme, protože se cítíme zodpovědní za informování o škodlivém zneužívání našich služeb. S tím, jak se modely stávají stále schopnějšími, porostou i rizika s nimi spojená – pokud tedy vývojáři umělé inteligence a ti, kdo chrání bezpečnost společnosti, nepodniknou kroky k jejich lepšímu zabezpečení,“ dodala firma.
Zpráva přichází v době, kdy se Anthropic chystá vstoupit na burzu. Zároveň byla zveřejněna krátce poté, co jeden z výzkumníků společnosti oznámil svůj odchod z oboru, což zdůvodnil obavami z tempa vývoje stále vyspělejších AI systémů. (Nejen) podle něj je možné, že by se v budoucnu mohl některý z nejpokročilejších AI modelů vymanit z lidské kontroly.
Anthropic ve zprávě uvádí, že mezi koncem roku 2025 a létem 2026 identifikoval případy zneužití ze strany různorodých subjektů: od dodavatelů špionážního softwaru přes politicky motivované jednotlivce až po skupiny napojené na státní aktéry.
Mezi nejzávažnější případy patřily pokusy využít model Claude při výzkumu, který by mohl mít souvislost s vývojem biologických zbraní. V jednom incidentu systém zablokoval žádost o pomoc při přípravě grantové žádosti zaměřené na takzvaný gain-of-function výzkum viru chikungunya.
Tento typ výzkumu spočívá v genetických úpravách organismů s cílem získat nové nebo zesílené vlastnosti. V daném případě šlo podle firmy o zkoumání změn, které by mohly zvýšit přenositelnost viru či jeho schopnost unikat imunitní reakci. Chikungunya, která se přenáší komáry, způsobuje mimo jiné silné bolesti a horečky.
Anthropic sice přiznává, že obdobný výzkum může mít legitimní vědecké využití, například při vývoji vakcín nebo léčiv, nicméně „stejné poznatky lze zneužít také k vytvoření nebezpečnějších patogenů“, uvedla firma.
Podle Anthropicu se většina zaznamenaných incidentů týkala starších generací modelů, nikoliv tedy Fable či Mythosu. Výjimkou byl jeden případ označený jako nelegální „distilace“ modelu, tedy snaha systematicky extrahovat schopnosti systému a přenést je do jiného modelu bez souhlasu vlastníka.
Každopádně starší modely z loňského roku (Opus 4 či Sonnet 4.5) jsou pod úrovní, na které by mohly významně pomáhat zkušeným odborníkům při nebezpečném biologickém výzkumu, uvedl Anthropic, avšak s tím, že situace se rychle mění. Nejnovější modely už totiž jsou schopny asistovat při složitějších vědeckých úlohách, což zvyšuje nejistotu ohledně jejich potenciálního zneužití. Proto dochází k rozšíření bezpečnostních mechanismů.
Otázka regulace
Vyvstává ovšem otázka, do jaké míry mají být podobné systémy regulovány. Odborníci upozorňují, že rozhodování o tom, co je ještě přijatelné a co již představuje příliš vysoké riziko, by nemělo zůstávat výhradně na soukromých technologických firmách. Od Anthropicu či OpenAI se nyní očekává, že budou určovat, co je bezpečné a co ne, přičemž tak činí „s celospolečenským dopadem bez jakéhokoli demokratického či deliberativního dohledu“, uvedl John Thickstun, odborný asistent informatiky na Cornellově univerzitě.
Mezitím šéf OpenAI Sam Altman uvedl, že společnost zvažuje zpomalení vývoje nejpokročilejších modelů, a že doufá, že ostatní firmy zabývající se AI učiní totéž. Altman měl podle Bloombergu zaměstnancům na celofiremním setkání říct, že OpenAI usiluje o koordinaci s dalšími firmami z oboru, ale některé z nich nemusí s návrhem souhlasit.