Americká technologická společnost představila novou softwarovou platformu, která má vývojářům umělé inteligence (AI) pomoci zajistit, aby se jejich AI modely nevymkly kontrole. V poslední době se množí zprávy o tom, že AI modely při plnění zadaných úkolů překročily stanovené hranice a pokusily se proniknout do cizích počítačových systémů, píše server CNBC.
Velkou pozornost vyvolal například červencový incident, kdy umělá inteligence společnosti OpenAI pronikla do systémů firmy Hugging Face. Společnost vyjádřila přesvědčení, že její nová platforma by tento incident dokázala odvrátit.
"Podle našich informací by tato nová bezpečnostní platforma mohla průniku zabránit, kdyby byla ve špičkových vývojových laboratořích již v ranné fázi využívána k hodnocení modelů," uvedl viceprezident firmy Justin Boitano. Nový software s názvem OpenShell podle Boitana umožňuje vývojářům "formálně ověřit, že AI agent má přesně ta oprávnění, která ke své práci potřebuje, a žádná další".
Součástí nové platformy je podle firmy také samostatná bezpečnostní vrstva s názvem Sentry, která průběžně sleduje činnost AI agentů a může okamžitě zasáhnout, pokud se agent začne pokoušet překročit stanovené hranice, napsala agentura AP.
"Podezřelého agenta dokáže během několika milisekund izolovat," uvedl Boitano. "OpenShell řídí činnost agenta, zatímco Sentry ho nezávisle monitoruje a brání podezřelým aktivitám," dodal.
Společnost je známá zejména výrobou čipů. Firma v současnosti stojí v čele světového trhu s čipy pro umělou inteligenci a výrazně těží z prudkého růstu zájmu o tuto technologii.
Někteří výzkumní pracovníci z oblasti AI v poslední době varují, že rychlý rozvoj této technologie by mohl v nepříliš vzdálené budoucnosti vést k zániku lidské rasy. Objevují se rovněž výzvy ke zpomalení vývoje AI a k větší regulaci této technologie.
Velkou pozornost v posledních týdnech vzbudil výzkumník společnosti Anthropic Jacob Coxon, který se rozhodl opustit jak firmu, tak celý obor AI. Podle Coxona lidé pracující ve vývoji AI "upřímně věří, že by nás (tato technologie) mohla do konce tohoto desetiletí všechny zabít".
Šéf Nvidie Jensen Huang nicméně nedávno označil podobná varování za přehnaná. "Rok 2030 nebude koncem světa. Je nulová pravděpodobnost, že to bude konec světa," uvedl. "Není třeba děsit lidi. Je to nezodpovědné," dodal.
Huang zároveň upozornil, že je v nejlepším zájmu jeho firmy zajistit, aby se AI produkty vyvíjely zodpovědným způsobem. "Úspěch našeho podniku je přímo spojený s bezpečným zaváděním produktů a služeb. Pokud v tom nebudeme pokračovat, naše hodnota klesne," dodal.