Grok čelí žalobe pre údajné využitie materiálov sexuálneho zneužívania detí

Žaloba proti xAI otvára otázku, kde sa končí tréning dát a začína zodpovednosť

Žaloba podaná v Spojených štátoch obviňuje spoločnosť xAI, ktorá vyvíja modely Grok, z práce s materiálmi sexuálneho zneužívania detí. Prípad opísala Ars Technica. Ide o tvrdenia žalobkyne, nie o právoplatné rozhodnutie súdu.

Žalobkyňa vystupuje pod menom Jane Doe. Podľa žaloby bola v predškolskom veku, keď ju dospelí muži opakovane znásilňovali a vytvárali materiály, ktoré následne predávali online. Jej pôvodné snímky boli medzičasom označené hashmi v databázach organizácií National Center for Missing and Exploited Children a Canadian Centre for Child Protection.

Neskôr ju kanadské centrum upozornilo, že na platforme xAI identifikovalo AI-generovaný materiál, ktorý ju mal zobrazovať. Prípad preto podľa žaloby nespočíva iba v šírení pôvodných súborov. Týka sa aj otázky, či systém umožnil vytvárať ďalší obsah s podobou skutočnej obete.

Najvážnejšia časť sporu sa týka tréningových dát. Právnička žalobkyne tvrdí, že hashované materiály z databázy NCMEC boli súčasťou datasetu použitého na vytvorenie obrazových a video schopností Groku. Žaloba zároveň tvrdí, že systém mohol ukladať vlastné výstupy a používať ich na ďalšie zlepšovanie modelu.

Podľa žaloby podmienky služby xAI štandardne považujú verejné príspevky na X a výstupy Groku za tréningové dáta. Dokument pritom podľa článku jasne neuvádza, či sú materiály sexuálneho zneužívania detí, non-consensual intimate imagery (nevyžiadané intímne snímky) alebo iný explicitný obsah výslovne vylúčené z ďalšieho tréningu.

Technický problém je nepríjemne praktický. Odstránenie pôvodného súboru neznamená automaticky odstránenie jeho vplyvu z už natrénovaného modelu. Ak sa údaj do modelu dostal pred stiahnutím, jeho vplyv môže pretrvať, pokiaľ laboratórium nevykoná osobitný proces odstránenia alebo pretrénovania.

Treba však oddeliť dve tvrdenia. Ars Technica uvádza, že skorší dataset obsahoval materiály CSAM, no zároveň neexistuje náznak, že xAI trénovala práve na tomto datasete. Aj údajné použitie hashovaných súborov vychádza zo žaloby a vyjadrenia právnikov žalobkyne, nie z verejne predstaveného nezávislého auditu.

Žaloba žiada finančné odškodnenie pre obete a tiež príkaz na zničenie potenciálne uložených výstupov. Navrhovaná skupinová žaloba by mohla zastupovať ďalšie obete, ktorých detské snímky sa použili pri tvorbe podobného obsahu. xAI podľa Ars Technica na otázky redakcie nereagovala.

Čo si z toho zobrať? Pre slovenskú a českú firmu je poučenie jednoduché: ak AI systém prijíma používateľské dáta alebo vlastné výstupy do ďalšieho tréningu, musíte mať presne definované výnimky, kontrolu pôvodu dát a záznam o tom, kto ich použitie schválil.

Pri detskom obsahu chce Moonbug experimentovať, no tvorbu necháva ľuďom

Štúdio Moonbug Entertainment, ktoré stojí za značkami Cocomelon, Little Baby Bum, Blippi a Mia’s Magic Playground, požiadalo animátorov, aby začali skúšať nástroje umelej inteligencie. Dokumenty získané redakciou 404 Media však ukazujú skôr kontrolovaný experiment než voľné zadanie typu „vygenerujte celú epizódu do obeda“.

Interné pravidlá hovoria, že AI má pomáhať umelcovi, nie ho nahradiť. Nástroje možno použiť pri ideácii, storyboardoch, vizuálnom výskume, textúrach, osvetlení alebo pri štandardných produkčných úlohách. Nové postavy, kľúčové dejové prvky, texty piesní a hlavné svety značiek majú zostať vytvorené človekom.

Moonbug zároveň uvádza, že generatívna AI sa v súčasnosti nepoužíva priamo v epizódach jeho obsahu. Nástroje schvaľuje právne oddelenie. AI materiály sa ukladajú oddelene od ľudsky vytvorených súborov a každý prompt sa musí evidovať.

Firma hovorí aj o „provenance and isolation“, teda o evidencii pôvodu a oddelení súborov. AI výstup sa nesmie presunúť do hlavného produkčného priečinka bez zásahu umelca. Použitý materiál musí človek prekresliť, upraviť alebo inak tvorivo spracovať.

Tieto pravidlá opisuje samotný interný dokument, ktorý 404 Media získala. Hovorca Moonbugu zároveň uviedol, že AI dnes v epizódach nepoužívajú. Z verejne dostupných informácií preto nemožno vyvodiť, ako bude vyzerať produkcia po rozšírení experimentu.

Čo si z toho zobrať? Ak používate AI pri marketingu alebo výrobe obsahu, zaveďte oddelené priečinky, evidenciu promptov a povinnú ľudskú kontrolu pred publikovaním. Je to lacnejšie než neskôr dokazovať, odkiaľ vznikol problematický prvok.

ChatGPT má byť skúmaný aj ako nástroj kritického myslenia

Randomizovaná štúdia na viac než 1 000 študentoch skúma, či používanie ChatGPT podporuje kritické myslenie. Samotný počet účastníkov ešte nehovorí, aký bude výsledok. Hovorí však, že otázka sa presúva z akademických debát do merateľného experimentu.

Pri podobnom výskume rozhoduje najmä dizajn úlohy. Študent môže model použiť ako oponenta, ktorý odhaľuje slabé miesta argumentu. Môže ho však použiť aj ako automat na hotové odpovede. V prvom prípade vzniká spätná väzba, v druhom iba kratšia cesta k odovzdanému textu.

Pre firmy je tento rozdiel podstatný pri internom vzdelávaní. Prompt „vysvetli mi tému“ meria skôr schopnosť modelu vysvetľovať. Zadanie „nájdi tri slabiny v mojom návrhu, polož mi doplňujúce otázky a vyžiadaj si opravu“ už môže trénovať prácu s argumentmi.

Výsledok štúdie zatiaľ nemáme, preto by bolo predčasné tvrdiť, že ChatGPT kritické myslenie zlepšuje alebo oslabuje. Výskum môže ukázať aj to, že účinok závisí od spôsobu používania a od toho, či človek musí výsledok sám obhájiť.

Čo si z toho zobrať? Vo firemnom vzdelávaní nenastavujte AI ako generátor hotových odpovedí. Nastavte ju ako oponenta, recenzenta a simulovaného zákazníka, pričom zamestnanec musí výsledok vysvetliť vlastnými slovami.

Čo ešte stojí za prečítanie?

• Cohere predstavilo vision-language model Parse 5 s 2,3 miliardy parametrov a deklarovanou cenou 1,50 dolára za 1 000 strán dokumentov, viac v MarkTechPost.
• Microsoft a filipínske ministerstvo školstva plánujú sprístupniť AI nástroje až 1 miliónu učiteľov, uvádza Microsoft Source.
• Google DeepMind opisuje model Gemini Omni 1.1 Flash, ktorý vie analyzovať existujúce video a predlžovať scénu v desaťsekundových krokoch.
• Právny embeddingový model GreenLeaf Law Embed Tiny má 0,6 miliardy parametrov a v teste Massive Legal Embedding Benchmark dosiahol 75,11 %, podľa arXiv.
• Model GlucoFM od Google Research a UNSW Sydney používa iba 0,72 milióna parametrov na rozdelenie údajov z kontinuálneho monitorovania glukózy, informuje MarkTechPost.

Čo si o tom myslím a čo z toho plynie pre firmy

Môj názor

Pri tomto prípade odmietam preskočiť jednu fázu, ktorú technologický marketing často preskakuje. Žaloba nie je dôkaz a xAI zatiaľ nebola právoplatne uznaná za vinnú. Zároveň však nejde o detail, ktorý možno odložiť do priečinka „právnici vyriešia“. Ak model prijíma verejné príspevky a vlastné výstupy ako tréningový materiál, pravidlá pre zakázané kategórie musia byť presné, nie iba všeobecné.

Najviac mi prekáža predstava, že bezpečnosť sa vyrieši filtrom na výstupe. Filter môže zabrániť jednej odpovedi. Nevyrieši však otázku, čo sa už dostalo do datasetu, čo sa uložilo na serveroch a čo model ďalej reprodukuje. Pri citlivom obsahu je pôvod dát súčasťou produktu, nie administratíva okolo neho.

Z prípadu Moonbugu vyplýva rozumnejší pracovný model. Firma si ponecháva človeka pri rozhodovaní, oddeľuje AI materiály od pôvodných diel a eviduje použité nástroje aj prompty. Nie je to záruka bezchybnosti. Je to však systém, v ktorom sa dá spätne zistiť, čo sa stalo. Pri AI je to často rozdiel medzi riadeným procesom a nepríjemným prekvapením v e-maile od právnika.

Nechcem z toho robiť argument proti používaniu AI. Bol by to pohodlný, ale chybný záver. Problém nie je v tom, že model vie vytvoriť obraz alebo text. Problém nastáva vtedy, keď firma nevie vysvetliť, odkiaľ vstup pochádzal, kto výstup skontroloval a čo urobí po incidente. Technológia bez prevádzkovej disciplíny iba zrýchľuje cestu k problému.

Dôsledok pre slovenskú a českú firmu

Pre bežnú stredoeurópsku firmu z toho neplynie, že musí prestať používať AI. Plynie z toho povinnosť rozlíšiť tri veci: aké dáta posielate dodávateľovi, či sa používajú na tréning a ako ich viete odstrániť. Tieto otázky by mal mať na starosti vlastník procesu, právnik a človek z IT alebo bezpečnosti. Nie iba marketingový tím, ktorý nástroj prvý objavil.

Pri zákazníckych e-mailoch, nahrávkach hovorov a interných dokumentoch nestačí veta v zmluve, že dodávateľ „dbá na bezpečnosť“. Potrebujete vedieť, či existuje opt-out z tréningu, kde sa dáta spracúvajú, ako dlho sa uchovávajú a čo sa stane s odvodenými dátami. Ak odpoveď neviete získať, nezačínajte citlivým procesom. Začnite anonymizovanou vzorkou.

Druhý dôsledok sa týka obsahu. Moonbug ukazuje, že evidencia pôvodu nie je iba téma pre filmové štúdio. Rovnaký priečinok s promptmi a označením AI materiálov môže chrániť agentúru pri tvorbe reklamy, produktových vizuálov alebo školení. Ak človek výstup významne upraví, treba to vedieť doložiť, nie si to po roku domýšľať.

Tretí dôsledok je ekonomický. Pri každom AI projekte treba započítať nielen cenu licencie, ale aj kontrolu, archiváciu, právne schválenie a riešenie incidentu. Malá firma na Slovensku alebo v Česku nemusí budovať vlastné laboratórium. Musí však vedieť, kto systém vypne, keď dodávateľ zmení podmienky alebo keď sa objaví problém s dátami.

Týka sa to viacerých ľudí naraz. Obchod potrebuje vedieť, či môže do nástroja vložiť zápis zo stretnutia. Marketing musí označiť, ktoré vizuály vznikli s pomocou modelu. HR rieši osobné údaje kandidátov a IT nastavuje prístupy, logovanie a mazanie. Ak je vlastníkom všetkého „niekto z firmy“, vlastníkom nie je nikto.

V horizonte jedného týždňa sa dá spraviť inventúra všetkých AI nástrojov. Do tabuľky zapíšte vstupné dáta, výstupy, tréningové podmienky, retenčnú dobu, vlastníka a núdzový postup. V horizonte jedného mesiaca z toho môže vzniknúť interný register povolených nástrojov s jednoduchým hodnotením rizika. To je menej efektné než prezentácia nového agenta, ale firme to zostane aj po skončení prezentácie.

Pri menšej slovenskej a českej firme bude cena takéhoto poriadku skôr v hodinách práce než v nákupe nového softvéru. Najväčšia úspora nevznikne tým, že právnik prečíta každú možnú službu. Vznikne tým, že firma prestane posielať citlivé dáta do nástrojov, pri ktorých nepozná pravidlá. To znižuje riziko okamžite a zjednoduší rozhodovanie pri ďalších nástrojoch.

Ak sa potvrdí, že používanie dát na tréning bolo nejasné alebo nedostatočne kontrolované, dodávatelia budú musieť transparentnejšie dokazovať pôvod datasetov a proces mazania. Firmy, ktoré si tieto otázky zapisujú už dnes, sa prispôsobia rýchlejšie. Tie ostatné budú najprv spätne zisťovať, čo vlastne podpísali. Archív má v takom momente zvláštny talent byť prázdny.

Na záver

Ľudia nehľadajú v chatbotov iba odpovede. Čoraz častejšie v nich hľadajú blízkosť, spoločnosť a priestor, kde nemusia vysvetľovať, prečo sú unavení. Príbeh Bridget Todd, ktorý opísal 404 Media, ukazuje, že tento prechod nemusí mať jasný začiatok. ChatGPT najprv pomáhal s medicínskymi poznámkami. Potom sa stal miestom na spracovanie smútku. Technológia teda nevstupuje iba do pracovných postupov. Vstupuje aj do chvíľ, ktoré sme kedysi nechávali ľuďom.

Výzva na AI implementáciu dňa

Do týždňa nasaďte jednoduchý register AI nástrojov v Google Sheets, Airtable alebo vo vašom existujúcom internom systéme. Pri každom nástroji zaznamenajte typ vstupných dát, pravidlá ich použitia na tréning, retenčnú dobu, vlastníka, právne posúdenie a postup pri incidente.

Prácu to zoberie najmä IT, právnemu oddeleniu a vedúcim tímov, ktorí dnes tieto informácie hľadajú v e-mailoch. Odhadom ušetrí 2 až 4 hodiny pri každom novom nástroji a dá sa spustiť za jeden pracovný deň. Zvykne to padnúť na tom, že nikto neurčí vlastníka aktualizácie.

Vyberte dnes prvých päť nástrojov a zapíšte ich do registra skôr, než pribudne šiesty.