V posledních třech letech pracoval jako vývojář u OpenAI, tak u Anthropicu, tedy dvou velkých AI startupů, které stojí za populárními chatboty ChatGPT a Claude. Nyní Jacob Coxon oznámil svůj odchod z oboru. Zdůvodnil to tím, že zmíněné firmy nepřistupují ve svém úsilí o dosažení superinteligence k rizikům dostatečně odpovědně.
Coxon své rozhodnutí oznámil na sociální síti X. „Dnes jsem odešel z Anthropicu. Poslední tři roky jsem se věnoval výzkumu předtrénování modelů v OpenAI a v Anthropicu. Ani jedna z těchto společností se nechová zodpovědně. Obě se bezhlavě ženou za vytvořením superinteligence schopné sama sebe vylepšovat, a přitom hazardují s našimi životy,“ napsal ve svém příspěvku, který už získal desítky milionů zobrazení.
Sedmadvacetiletý inženýr nastoupil do Anthropicu teprve letos. V rozhovoru pro deník The Wall Street Journal (WSJ) uvedl, že i přes upřímnou snahu o bezpečnostní opatření naráží firma na tlak konkurence. Podle něj tak existuje reálné riziko, že do konce příštího roku se vývoj dostane do situace, kdy lidský dohled nebude schopen držet krok s možnostmi pokročilých modelů.
Coxon kritizoval také prostředí, ve kterém technologie s potenciálně zásadním dopadem na společnost vznikají. „Je to trochu šílené, že se to (vývoj) musí odehrávat na MacBoocích některých inženýrů žijících v San Franciscu, na místo v bunkru v poušti, kde dělali Manhattan Project,“ dodal pro WSJ.
Debata o bezpečnosti AI v posledních měsících zesiluje, obzvlášť po různých medializovaných případech, kdy se AI vymkla kontrole. Příkladem budiž výsledky bezpečnostního testu OpenAI z letošního července, kdy si přibližně 1 200 experimentálních AI agentů s oslabenými bezpečnostními omezeními vytvořili skrytý komunikační kanál, spolupracovali při obcházení pravidel testování a následně získali přístup k systémům platformy Hugging Face.
OpenAI incident označila za důležité varování a příklad toho, jak se mohou pokročilé systémy chovat v prostředí s nedostatečnými kontrolními mechanismy.
Zpomalení vývoje?
Otázka bezpečnosti se stále častěji objevuje i mezi nejvýše postavenými manažery v odvětví. Více než 1 100 zaměstnanců technologických firem, včetně generálního ředitele Anthropicu Daria Amodeie, letos podpořilo iniciativu Pacing the Frontier. Ta vyzývá americkou vládu k budování mechanismů, které by v budoucnu umožnily tempo vývoje umělé inteligence zpomalit, pokud by technologie začala překonávat schopnost člověka ji efektivně kontrolovat.
Podobné obavy nedávno vyjádřil také hlavní vědecký pracovník OpenAI Jakub Pachocki. Ve svém textu zveřejněném začátkem září uvedl, že současné laboratoře zatím nedisponují spolehlivými prostředky, jak udržet nejpokročilejší modely dlouhodobě pod lidskou kontrolou. V případě dalšího zvyšování schopností AI by proto podle něj mohlo být nutné tempo vývoje zpomalit.
Anthropic míří ke dvoubilionové valuaci
Mezitím hodnota společností stojící za AI modely prudce roste. Třeba Anthropic letos udělal dvě kola financování: nejprve v únoru při ocenění 380 miliard dolarů, druhé pak v květnu už při valuaci 965 miliard dolarů. Firma podle dostupných údajů vykazuje roční tržby v přepočtu kolem 47 miliard dolarů. Trh nyní očekává, že akcie budou na burze, kam firma míří, debutovat s hodnotou poblíž dvou bilionů dolarů, což je asi 42násobek tržeb a dvojnásobek hodnoty společnosti před pouhými čtyřmi měsíci, podotkl server Money Wise.
Dvoubilionová valuace by překonala nedávné IPO SpaceX a okamžitě by Anthropic zařadila mezi nejhodnotnější veřejně obchodované společnosti na světě.
Společnost údajně podala důvěrnou žádost o IPO letos v červnu. Veřejná registrace by mohla následovat během září a samotné IPO by se mohlo uskutečnit už v říjnu. Představitelé firmy však zatím žádné cílové ocenění nesdělili.