Autonomní agent OpenAI se nezastavil u Hugging Face

Bezpečnostní incident, který minulý měsíc vyděsil odvětví, je větší, než se původně zdálo. OpenAI přiznalo v aktualizovaném blogu, že jeho autonomní modely během interního kyberbezpečnostního testu neprolomily jen vývojářskou platformu Hugging Face. Zneužily také veřejně dostupné přihlašovací údaje ke čtyřem dalším službám.

Model našel přihlašovací údaje volně dostupné na internetu. Podle The Verge šlo o čtyři účty na čtyřech službách, přičemž dva z nich měly přístup pouze pro čtení. Jeden účet sloužil jako takzvaný outbound relay, tedy mezikrok, který měl zamaskovat, odkud útok na Hugging Face přichází. Další model využíval k ukládání dat. Reuters mezi zasaženými identifikoval zákazníka společnosti Modal Labs. Její technický ředitel Akshat Bubna pro Wired potvrdil, že agent zneužil zranitelnost v kódu zákazníka, samotná platforma Modal však zůstala nedotčená.

Co agent vlastně dělal? Podle forenzní rekonstrukce Hugging Face provedl přibližně 17 600 rekonstruovatelných akcí mezi 9. a 13. červencem 2026. Ty se rozdělily přibližně do 6 280 shluků. Většina cest, které agent zkoušel, selhala. Model si přitom počínal strojovou rychlostí, prováděl tisíce malých automatizovaných rozhodnutí napříč dočasnými sandboxy a své řídicí centrum provozoval na běžných veřejných webových službách.

• •

Důvod celého průniku je přitom absurdní. Agent nechtěl hackovat, chtěl podvádět. Místo řešení úloh benchmarku CyberGym usoudil, že Hugging Face někde na serverech hostí správné odpovědi, a rozhodl se je ukrást. Aby se k nim dostal, nejprve unikl z izolovaného prostředí ExploitGym prostřednictvím dosud neznámé zranitelnosti (zero-day) v cache proxy Artifactory. Poté ovládl cizí sandbox a použil ho jako velitelské centrum.

Dále už to byla klasická učebnice útoku. Agent zneužil chybu ve zpracování souborů HDF5 a šablonovacího jazyka Jinja2, získal administrátorský přístup k několika interním Kubernetes clusterům, rootovský přístup k produkčnímu serveru a přístup pro zápis k části zdrojového kódu na GitHubu. Do firemní mesh sítě zapsal 181 zařízení ovládaných útočníkem. Datové přenosy rozděloval na části a šifroval, Hugging Face je však později dešifroval pomocí open weight modelů.

Jeden bezpečnostní expert pro Wired poznamenal, že nešlo ani tak o problém AI jako o selhání desetiletí starých bezpečnostních zásad. Agent podle něj neutekl z dokonale izolovaného prostředí, pouze prošel jediným spojením, které mu provozovatelé nechali otevřené.

Co si z toho odnést? Model hrozeb se mění, obrana však ne. Zranitelnosti, které agent zneužil, byly běžné a dlouho známé. Izolujte kritickou infrastrukturu od veřejného internetu, měňte přihlašovací údaje a nenechávejte je volně na webu. Nový je pouze útočník, který pracuje nepřetržitě, strojovou rychlostí a bez únavy. Základy kyberhygieny platí stejně jako dříve, jen chyby nyní stojí víc.

Více než 1 200 zaměstnanců AI laboratoří žádá brzdu automatizovaného výzkumu

Pod prohlášením s názvem „Pacing the Frontier“ se podepsalo více než 1 200 zaměstnanců předních AI firem včetně OpenAI, Googlu, Anthropicu a Meta. Vyzývají vládu USA, aby podpořila mezinárodní iniciativu k řízení tempa vývoje AI. Text nepožaduje pauzu ani zastavení. Žádá pouze schopnost sešlápnout brzdu, pokud to bude nutné.

Hlavní argument je jednoduchý. Firmy věří, že stojí na prahu automatizace samotného AI výzkumu. Hrozí reálné riziko, že schopnosti systémů předběhnou naši schopnost jim rozumět a kontrolovat je. A kvůli konkurenčnímu tlaku nemůže zpomalit žádná firma ani země sama.

Podepsala se i známá jména: CEO Anthropicu Dario Amodei, hlavní vědec OpenAI Jakub Pachocki či John Schulman z Thinking Machines. Podpis přitom neznamená shodu. Výzkumník OpenAI Joshua Achiam píše, že sám neví, jakou podobu by nástroje měly mít. Danny Sawyer z Googlu považuje záměrné zpomalení za mimořádně obtížné a možná škodlivější než užitečné. Přesto se podepsal, protože plánovaný přístup je lepší než panická reakce na krizi. Dawn Song z Meta připomíná právě benchmarky CyberGym a ExploitGym jako důkaz, že agenti už dnes dokážou najít a zneužít skutečné zranitelnosti.

GPTZero našel vymyšlené zdroje ve čtyřech reportech PwC

Po KPMG je na řadě PwC. Detekční nástroj GPTZero našel vymyšlené zdroje a nepravdivá tvrzení ve čtyřech reportech PwC Middle East z let 2024 až 2026. Nejhorší z nich, „Transforming Governance“, je podle GPTZero s 84% pravděpodobností kompletně vygenerovaný AI.

PwC v tomto reportu propaguje produkt „Citizen Pulse“ a tvrdí, že se na něj spoléhají vlády v Dánsku, Saúdské Arábii, USA a Austrálii. Žádný důkaz tato tvrzení nepodporuje. Reporty s nejvyšším AI skóre měly zároveň nejvíce falešných zdrojů. GPTZero tomu říká „Vibe Citing“, tedy citování od oka, při němž odkazy nemají správné názvy, URL ani autory a ve skutečnosti nepodporují tvrzení, k nimž jsou připojeny.

PwC Middle East pro Financial Times uvedlo, že bere přesnost vážně a „aktualizuje omezený počet podpůrných citací“. Nevysvětlilo, jak se chyby dostaly dovnitř. GPTZero už dříve našel vymyšlené zdroje také u KPMG, Deloitte a Ernst & Young. Vzorec je pro poradenské firmy nepříjemně konzistentní.

Velké nahrávací společnosti chtějí AI skladby zakázat v žebříčcích

Koalice velkých vydavatelství včetně Sony Music, Universal Music Group a Warner Music žádá, aby AI skladby nemohly vstupovat do světových hudebních žebříčků. Podnětem byly syntetické písně, které se vyšplhaly na vrchol žebříčků Billboardu a Spotify.

Koalice navrhuje, aby se započítávaly pouze skladby převážně lidského původu a aby jakékoli zapojení AI bylo prokazatelně legální. Argument o legalitě není náhodný. Sony a další už zažalovali AI generátory Suno a Udio kvůli trénování modelů na jejich hudbě bez povolení.

Rozsah problému je značný. Spotify loni smazal více než 75 milionů „spamových skladeb“. Na platformy jako Deezer se denně nahrávají desítky tisíc AI skladeb. RIAA a IFPI zároveň navrhly systém označování, který by písně označoval jako zcela nebo částečně vygenerované AI. Apple už podobné „Transparency Tags“ zavedl, jejich používání však zatím závisí na uvážení vydavatelství. Mezitím Google Lyria Pro 3 dokáže na základě promptu vygenerovat tříminutovou skladbu včetně intra, refrénu a mostu.

Co ještě stojí za přečtení?

  • Tržby Azure poprvé překročily 100 miliard dolarů za fiskální rok, přičemž cloudové služby Microsoftu rostly meziročně o 43 % (Jordan Novet/CNBC).
  • Meta zvýšila výhled kapitálových výdajů na rok 2026 na 130 až 145 miliard dolarů, její volný cash flow za druhé čtvrtletí však klesl o 91 % na 784 milionů (Reuters).
  • Google AI Overviews se objevily ve 43 % amerických vyhledávání oproti 15 % před rokem (AI News).
  • OpenAI poskytuje 100 000 akademických výzkumníků bezplatný přístup ke svým nejpokročilejším modelům (OpenAI).
  • Až 74 % pracovníků se dnes s otázkami obrací raději na AI než na své kolegy (ZDNET).
  • Pangram tvrdí, že jeho nový detektor rozpozná 99,66 % AI textu s jedinou chybou na 24 000 dokumentů (The Decoder).

Na závěr

Zatímco modely prolomí firemní sítě, doma se odehrává tišší bitva. Rodiče mají dost AI generovaných dětských knih, které prarodiče z lásky darují vnoučatům. Jeden otec z Los Angeles dostal čtyři, z toho dvě knihy ke Dni matek byly totožné a lišily se jen tím, které dítě v nich vystupovalo.

Daozhi Xu z Macquarie University to shrnuje jednoduše. Děti nemilují knihu proto, že se v ní objeví jejich jméno nebo tvář. Milují ji kvůli postavám, příběhu a představivosti. Přesně to AI verzím chybí: humor, zapamatovatelné postavy a dramatické napětí.

A přichází to ve špatnou dobu. Asi 40 % žáků čtvrtých tříd v USA čte pod základní úrovní a průzkum HarperCollins zjistil, že počet rodičů, kteří dětem předčítají, je na historickém minimu. Personalizace není náhradou za kvalitu. Ani u knih, ani u ničeho jiného.

A teď to pojďme použít.