Grok čelí žalobě kvůli údajnému využití materiálů sexuálního zneužívání dětí

Žaloba proti xAI otevírá otázku, kde končí trénink dat a začíná odpovědnost

Žaloba podaná ve Spojených státech obviňuje společnost xAI, která vyvíjí modely Grok, z práce s materiály sexuálního zneužívání dětí. Případ popsala Ars Technica. Jde o tvrzení žalobkyně, nikoli o pravomocné rozhodnutí soudu.

Žalobkyně vystupuje pod jménem Jane Doe. Podle žaloby byla v předškolním věku, když ji dospělí muži opakovaně znásilňovali a vytvářeli materiály, které následně prodávali online. Její původní snímky byly mezitím označeny hashi v databázích organizací National Center for Missing and Exploited Children a Canadian Centre for Child Protection.

Později ji kanadské centrum upozornilo, že na platformě xAI identifikovalo AI generovaný materiál, který ji měl zobrazovat. Případ proto podle žaloby nespočívá pouze v šíření původních souborů. Týká se také otázky, zda systém umožnil vytvářet další obsah s podobou skutečné oběti.

Nejzávažnější část sporu se týká tréninkových dat. Právnička žalobkyně tvrdí, že materiály označené hashi z databáze NCMEC byly součástí datasetu použitého k vytvoření obrazových a video schopností Groku. Žaloba zároveň tvrdí, že systém mohl ukládat vlastní výstupy a používat je k dalšímu zlepšování modelu.

Podle žaloby podmínky služby xAI standardně považují veřejné příspěvky na X a výstupy Groku za tréninková data. Dokument přitom podle článku jasně neuvádí, zda jsou materiály sexuálního zneužívání dětí, non-consensual intimate imagery (nevyžádané intimní snímky) nebo jiný explicitní obsah výslovně vyloučeny z dalšího tréninku.

Technický problém je nepříjemně praktický. Odstranění původního souboru automaticky neznamená odstranění jeho vlivu z již natrénovaného modelu. Pokud se údaj do modelu dostal před stažením, jeho vliv může přetrvat, pokud laboratoř neprovede zvláštní proces odstranění nebo přetrénování.

Je však třeba oddělit dvě tvrzení. Ars Technica uvádí, že dřívější dataset obsahoval materiály CSAM, zároveň však neexistuje náznak, že xAI trénovala právě na tomto datasetu. Také údajné použití souborů označených hashi vychází ze žaloby a vyjádření právníků žalobkyně, nikoli z veřejně představeného nezávislého auditu.

Žaloba požaduje finanční odškodnění pro oběti a také příkaz ke zničení potenciálně uložených výstupů. Navrhovaná hromadná žaloba by mohla zastupovat další oběti, jejichž dětské snímky byly použity při tvorbě podobného obsahu. xAI podle Ars Technica na dotazy redakce nereagovala.

Co si z toho odnést? Pro slovenskou a českou firmu je poučení jednoduché: pokud AI systém přijímá uživatelská data nebo vlastní výstupy k dalšímu tréninku, musíte mít přesně definované výjimky, kontrolu původu dat a záznam o tom, kdo jejich použití schválil.

U dětského obsahu chce Moonbug experimentovat, tvorbu však nechává lidem

Studio Moonbug Entertainment, které stojí za značkami Cocomelon, Little Baby Bum, Blippi a Mia’s Magic Playground, požádalo animátory, aby začali zkoušet nástroje umělé inteligence. Dokumenty získané redakcí 404 Media však ukazují spíše kontrolovaný experiment než volné zadání typu „vygenerujte celou epizodu do oběda“.

Interní pravidla říkají, že AI má umělci pomáhat, nikoli ho nahradit. Nástroje lze použít při hledání nápadů, tvorbě storyboardů, vizuálním výzkumu, texturách, osvětlení nebo standardních produkčních úkolech. Nové postavy, klíčové dějové prvky, texty písní a hlavní světy značek mají zůstat vytvořené člověkem.

Moonbug zároveň uvádí, že generativní AI se v současnosti nepoužívá přímo v epizodách jeho obsahu. Nástroje schvaluje právní oddělení. Materiály vytvořené AI se ukládají odděleně od souborů vytvořených lidmi a každý prompt se musí evidovat.

Firma hovoří také o „provenance and isolation“, tedy o evidenci původu a oddělení souborů. Výstup AI se nesmí přesunout do hlavní produkční složky bez zásahu umělce. Použitý materiál musí člověk překreslit, upravit nebo jinak tvůrčím způsobem zpracovat.

Tato pravidla popisuje samotný interní dokument, který 404 Media získala. Mluvčí Moonbugu zároveň uvedl, že AI dnes v epizodách nepoužívají. Z veřejně dostupných informací proto nelze vyvodit, jak bude produkce vypadat po rozšíření experimentu.

Co si z toho odnést? Pokud používáte AI v marketingu nebo při tvorbě obsahu, zaveďte oddělené složky, evidenci promptů a povinnou lidskou kontrolu před publikováním. Je to levnější než později dokazovat, odkud problematický prvek vznikl.

ChatGPT má být zkoumán také jako nástroj kritického myšlení

Randomizovaná studie na více než 1 000 studentech zkoumá, zda používání ChatGPT podporuje kritické myšlení. Samotný počet účastníků ještě neříká, jaký bude výsledek. Ukazuje však, že otázka se přesouvá z akademických debat do měřitelného experimentu.

U podobného výzkumu rozhoduje především design úkolu. Student může model použít jako oponenta, který odhaluje slabá místa argumentu. Může ho však použít také jako automat na hotové odpovědi. V prvním případě vzniká zpětná vazba, ve druhém pouze kratší cesta k odevzdanému textu.

Pro firmy je tento rozdíl podstatný při interním vzdělávání. Prompt „vysvětli mi téma“ měří spíše schopnost modelu vysvětlovat. Zadání „najdi tři slabiny v mém návrhu, polož mi doplňující otázky a vyžádej si opravu“ už může trénovat práci s argumenty.

Výsledek studie zatím neznáme, proto by bylo předčasné tvrdit, že ChatGPT kritické myšlení zlepšuje nebo oslabuje. Výzkum může ukázat také to, že účinek závisí na způsobu používání a na tom, zda člověk musí výsledek sám obhájit.

Co si z toho odnést? Ve firemním vzdělávání nenastavujte AI jako generátor hotových odpovědí. Nastavte ji jako oponenta, recenzenta a simulovaného zákazníka, přičemž zaměstnanec musí výsledek vysvětlit vlastními slovy.

Co ještě stojí za přečtení?

• Cohere představilo vision-language model Parse 5 s 2,3 miliardy parametrů a deklarovanou cenou 1,50 dolaru za 1 000 stran dokumentů, více v MarkTechPost.
• Microsoft a filipínské ministerstvo školství plánují zpřístupnit AI nástroje až 1 milionu učitelů, uvádí Microsoft Source.
• Google DeepMind popisuje model Gemini Omni 1.1 Flash, který umí analyzovat existující video a prodlužovat scénu v desetisekundových krocích.
• Právní embeddingový model GreenLeaf Law Embed Tiny má 0,6 miliardy parametrů a v testu Massive Legal Embedding Benchmark dosáhl 75,11 %, podle arXiv.
• Model GlucoFM od Google Research a UNSW Sydney používá pouze 0,72 milionu parametrů k rozdělení údajů z kontinuálního monitorování glukózy, informuje MarkTechPost.

Co si o tom myslím a co z toho plyne pro firmy

Můj názor

V tomto případě odmítám přeskočit jednu fázi, kterou technologický marketing často vynechává. Žaloba není důkaz a xAI zatím nebyla pravomocně uznána vinnou. Zároveň však nejde o detail, který lze odložit do složky „právníci to vyřeší“. Pokud model přijímá veřejné příspěvky a vlastní výstupy jako tréninkový materiál, pravidla pro zakázané kategorie musí být přesná, nikoli pouze obecná.

Nejvíce mi vadí představa, že bezpečnost vyřeší výstupní filtr. Filtr může zabránit jedné odpovědi. Nevyřeší však otázku, co se už dostalo do datasetu, co se uložilo na serverech a co model dále reprodukuje. U citlivého obsahu je původ dat součástí produktu, nikoli administrativa kolem něj.

Z případu Moonbugu vyplývá rozumnější pracovní model. Firma ponechává člověka při rozhodování, odděluje materiály vytvořené AI od původních děl a eviduje použité nástroje i prompty. Není to záruka bezchybnosti. Je to však systém, v němž lze zpětně zjistit, co se stalo. U AI je to často rozdíl mezi řízeným procesem a nepříjemným překvapením v e-mailu od právníka.

Nechci z toho dělat argument proti používání AI. Byl by to pohodlný, ale chybný závěr. Problém není v tom, že model umí vytvořit obraz nebo text. Problém nastává tehdy, když firma nedokáže vysvětlit, odkud vstup pocházel, kdo výstup zkontroloval a co udělá po incidentu. Technologie bez provozní disciplíny pouze urychluje cestu k problému.

Důsledek pro slovenskou a českou firmu

Pro běžnou středoevropskou firmu z toho neplyne, že musí přestat používat AI. Plyne z toho povinnost rozlišit tři věci: jaká data posíláte dodavateli, zda se používají k tréninku a jak je dokážete odstranit. Tyto otázky by měl mít na starosti vlastník procesu, právník a člověk z IT nebo bezpečnosti. Ne pouze marketingový tým, který nástroj objevil jako první.

U zákaznických e-mailů, nahrávek hovorů a interních dokumentů nestačí věta ve smlouvě, že dodavatel „dbá na bezpečnost“. Potřebujete vědět, zda existuje opt-out z tréninku, kde se data zpracovávají, jak dlouho se uchovávají a co se stane s odvozenými daty. Pokud odpověď nedokážete získat, nezačínejte citlivým procesem. Začněte anonymizovaným vzorkem.

Druhý důsledek se týká obsahu. Moonbug ukazuje, že evidence původu není pouze téma pro filmové studio. Stejná složka s prompty a označením materiálů vytvořených AI může chránit agenturu při tvorbě reklamy, produktových vizuálů nebo školení. Pokud člověk výstup významně upraví, musí to umět doložit, nikoli si to po roce domýšlet.

Třetí důsledek je ekonomický. U každého AI projektu je třeba započítat nejen cenu licence, ale také kontrolu, archivaci, právní schválení a řešení incidentu. Malá firma na Slovensku nebo v Česku nemusí budovat vlastní laboratoř. Musí však vědět, kdo systém vypne, když dodavatel změní podmínky nebo když se objeví problém s daty.

Týká se to více lidí najednou. Obchod potřebuje vědět, zda může do nástroje vložit zápis ze schůzky. Marketing musí označit, které vizuály vznikly s pomocí modelu. HR řeší osobní údaje kandidátů a IT nastavuje přístupy, logování a mazání. Pokud je vlastníkem všeho „někdo z firmy“, vlastníkem není nikdo.

Během jednoho týdne lze provést inventuru všech AI nástrojů. Do tabulky zapište vstupní data, výstupy, tréninkové podmínky, dobu uchovávání, vlastníka a nouzový postup. Během jednoho měsíce z toho může vzniknout interní registr povolených nástrojů s jednoduchým hodnocením rizika. Je to méně efektní než prezentace nového agenta, firmě to však zůstane i po skončení prezentace.

U menší slovenské a české firmy bude cena takového pořádku spíše v hodinách práce než v nákupu nového softwaru. Největší úspora nevznikne tím, že právník projde každou možnou službu. Vznikne tím, že firma přestane posílat citlivá data do nástrojů, u nichž nezná pravidla. To okamžitě snižuje riziko a zjednodušuje rozhodování u dalších nástrojů.

Pokud se potvrdí, že používání dat k tréninku bylo nejasné nebo nedostatečně kontrolované, dodavatelé budou muset transparentněji dokazovat původ datasetů a proces mazání. Firmy, které si tyto otázky zapisují už dnes, se přizpůsobí rychleji. Ostatní budou nejprve zpětně zjišťovat, co vlastně podepsaly. Archiv má v takovou chvíli zvláštní talent být prázdný.

Na závěr

Lidé nehledají v chatbotech pouze odpovědi. Stále častěji v nich hledají blízkost, společnost a prostor, kde nemusí vysvětlovat, proč jsou unavení. Příběh Bridget Todd, který popsala 404 Media, ukazuje, že tento přechod nemusí mít jasný začátek. ChatGPT nejprve pomáhal s lékařskými poznámkami. Poté se stal místem ke zpracování smutku. Technologie tedy nevstupuje pouze do pracovních postupů. Vstupuje také do chvil, které jsme kdysi nechávali lidem.

Výzva k implementaci AI dne

Do týdne nasaďte jednoduchý registr AI nástrojů v Google Sheets, Airtable nebo ve vašem stávajícím interním systému. U každého nástroje zaznamenejte typ vstupních dat, pravidla jejich použití k tréninku, dobu uchovávání, vlastníka, právní posouzení a postup při incidentu.

Práci to vezme především IT, právnímu oddělení a vedoucím týmů, kteří dnes tyto informace hledají v e-mailech. Odhadem to ušetří 2 až 4 hodiny u každého nového nástroje a lze to spustit během jednoho pracovního dne. Obvykle to ztroskotá na tom, že nikdo neurčí vlastníka aktualizace.

Vyberte dnes prvních pět nástrojů a zapište je do registru dříve, než přibude šestý.