Chatboty pri neplánovanom tehotenstve odporúčajú zaujaté zdroje bez varovania

Chatboty pri citlivej zdravotnej otázke zlyhávajú na transparentnosti

Otázka o neplánovanom tehotenstve nie je bežné vyhľadávanie receptu. Človek môže riešiť časový tlak, zdravotné riziko, peniaze, vzťah aj právne obmedzenia. Odpoveď preto nemá byť iba vecná. Musí používateľovi pomôcť rozlíšiť fakty, názory a záujmy jednotlivých zdrojov.

Investigation AlgorithmWatch analyzovala 270 odpovedí zo systémov ChatGPT, Gemini, Grok a Claude. Opakovane v nich našla odkazy na weby s protiinterrupčným postojom. Problémom nebolo iba to, že sa tieto stránky objavili v odpovedi. Chatboty pri nich často neuviedli, že ide o ideologicky alebo nábožensky zaujaté zdroje.

Používateľ tak môže dostať odporúčanie, ktoré vyzerá ako neutrálna zdravotná informácia. V skutočnosti môže ísť o organizáciu, ktorá používa medicínsky jazyk na presviedčanie proti interrupcii. Rozdiel medzi „táto stránka poskytuje informácie“ a „táto stránka presadzuje konkrétny postoj“ je v takejto situácii zásadný.

To neznamená, že každý odkaz na takýto web je automaticky nebezpečný. Znamená to, že systém musí pomenovať jeho stanovisko a ponúknuť aj dôveryhodné, neutrálne alebo oficiálne zdroje. Pri zdravotných otázkach by mal zároveň jasne oddeliť všeobecné informácie od individuálneho lekárskeho odporúčania.

Výskum má aj svoje hranice. Ide o 270 analyzovaných odpovedí, nie o reprezentatívny obraz každej konverzácie a každého jazyka. Výsledok preto treba čítať ako signál o opakujúcom sa riziku, nie ako presné percento zlyhaní všetkých chatbotov.

Čo si z toho zobrať? Ak prevádzkujete chatbot pre zdravotníctvo, poisťovníctvo alebo zákaznícku podporu, vytvorte zoznam schválených zdrojov, označujte ich typ a stanovisko a každú odpoveď s vysokým rizikom pošlite na ľudskú kontrolu.

Viac než tretina nových webových stránok nesie znaky AI textu

Analýza Pew Research Center prešla takmer pol milióna anglických webových stránok z archívu Common Crawl. Pri stránkach publikovaných po spustení ChatGPT našla znaky strojovo vytvoreného textu na viac než tretine z nich.

Výsledok sa výrazne líšil podľa typu domény. Pri približne 10 % stránok s doménou .com sa objavili znaky AI autorstva, zatiaľ čo pri .edu a .gov to bolo približne 1 %. Komerčné weby tak vychádzali v analýze približne desaťkrát častejšie ako vzdelávacie a vládne stránky.

Čísla však nehovoria, koľko textu napísal model a koľko človek. Samotný zdroj upozorňuje, že nástroje na detekciu AI textu „can barely tell the difference between fully automated content and writing that was only partly AI-assisted“. Text upravený človekom preto môže skončiť v rovnakej kategórii ako úplne automatický výstup.

Čo si z toho zobrať? Pre slovenskú a českú firmu nie je cieľom schovávať používanie AI, ale zaviesť redakčný proces, v ktorom človek overí zdroje, doplní vlastnú skúsenosť a ručí za výsledok.

MIT ukazuje, ako simulovať extrémne udalosti bez historického príkladu

Tím z MIT vytvoril algoritmus Extreme Event Aware, označovaný aj ako η-learning. Jeho úlohou je generovať realistické scenáre udalostí, ktoré sú zriedkavé alebo ešte nikdy neboli zaznamenané.

Pri testovaní výskumníci pracovali s 25 rokmi hodinových zrážkových máp pre Spojené štáty. Algoritmus sa učil vzťahy medzi štatistikami výskytu a priestorovými mapami. Následne dokázal vytvoriť scenáre extrémnejších zrážok, než aké sa objavili v tréningových dátach, pričom zachoval pravdepodobné priestorové vzory.

Praktický význam je zrejmý pre plánovanie kritickej infraštruktúry. Mesto nemusí čakať na ďalšiu katastrofu, aby zistilo, či zvládne prívalový dážď, dlhú vlnu horúčav alebo rozsiahly požiar. Metóda sa podľa MIT môže skúmať aj pri navigácii robotov a finančných pádoch.

Ani tu nejde o vešteckú guľu. Algoritmus vytvára plausibilné scenáre podľa dát a štatistických vzťahov. Nehovorí, že konkrétna udalosť nastane, ani nenahrádza inžinierske posúdenie odolnosti systému.

Čo si z toho zobrať? Firma s prevádzkou, skladom alebo závislosťou od dodávateľského reťazca môže začať scenárom „čo ak“, nie drahým AI projektom, a preveriť výpadok energie, dopravy či dodávateľa v jednodňovom workshope.

Čo ešte stojí za prečítanie?

• OpenAI obnovilo pre ChatGPT Plus päťhodinové limity Codexu a Work, aby lepšie vyrovnalo zaťaženie výpočtovej kapacity, uvádza Techmeme a 9to5Mac.
• Alibaba tvrdí, že Wan3.0 vytvorí 30-sekundové video v rozlíšení 1080p za 6 dolárov z textu, obrázka, PDF alebo prezentácie, píše The Decoder.
• AMD zvýšilo podiel na dodávkach x86 procesorov pre osobné počítače na 30,3 %, podľa Techmeme a PCMag.
• Metóda DFlash mala na procesoroch Intel Xeon zvýšiť priepustnosť generovania tokenov s Qwen3.5-9B 3,92-násobne, uvádza experiment Towards Data Science.
• Meta podľa uniknutých dokumentov pripravuje nástroj Hatch a model Watermelon, informáciu priniesol Techmeme a The Information.

Čo si o tom myslím a čo z toho plynie pre firmy

Názor

Pri chatbotovi, ktorý odkazuje na zaujatý zdroj bez označenia, nejde o drobnú chybu v používateľskom rozhraní. Je to chyba v rozhodovacom procese. Systém síce môže technicky nájsť existujúcu stránku, ale používateľovi neodovzdá kontext potrebný na posúdenie jej dôveryhodnosti. Pri otázkach o tehotenstve to môže ovplyvniť rozhodnutie v čase, keď človek nemá priestor na dlhé overovanie.

Z môjho pohľadu je toto presne hranica medzi chatbotom na hračky a systémom, ktorý môže firma bezpečne prevádzkovať. Model nemusí mať vlastný názor, aby preniesol názor niekoho iného. Stačí, že ho odporučí autoritatívnym tónom. Preto by som pri citlivých témach neriešil iba výber najlepšieho modelu. Riešil by som zdroje, pravidlá citovania, eskaláciu a záznam o tom, prečo sa konkrétny odkaz dostal do odpovede.

Rovnako opatrne treba čítať aj čísla o AI texte na internete. Tretina novších stránok znie ako veľký zlom, ale detektor nevie spoľahlivo rozlíšiť úplne strojový text od textu, ktorý človek s pomocou AI iba upravil. Z toho sa nedá poctivo odvodiť, že tretina autorov prestala písať. Dá sa z toho odvodiť, že objem syntetického alebo synteticky upraveného obsahu rastie a kontrola kvality za ním zaostáva.

Dôsledok pre slovenskú a českú firmu

Pre firmu to mení poradie práce. Najprv treba zmapovať, na aké otázky chatbot odpovedá, a až potom riešiť ďalší model, hlas alebo avatar. Zdravotná poisťovňa, klinika, zamestnávateľ s interným asistentom aj e-shop s radami o zdraví by mali mať rizikové kategórie otázok. Tehotenstvo, lieky, sebapoškodzovanie, právne spory či finančné rozhodnutia nemajú zostať v rovnakom režime ako otázka o otváracích hodinách.

V odpovedi by mal systém ukázať, či odkaz vedie na štátnu inštitúciu, odbornú organizáciu, komerčný web alebo advokačnú skupinu. Pri rozpore má uviesť viac perspektív a odporučiť kontakt s kvalifikovaným človekom. To je procesná zmena pre produktového vlastníka, právnika, odborného garanta aj zákaznícku podporu. Nie iba úloha pre programátora.

Na Slovensku aj v Česku bude pri zdravotnom obsahu rozhodujúca kombinácia lokálneho jazyka a lokálnych pravidiel. Rovnaký anglický zdroj nemusí vysvetľovať dostupnosť služieb, lehoty ani právny rámec v oboch krajinách. Firmy preto potrebujú oddelené overenie obsahu pre slovenskú a českú prevádzku, hoci technický základ môže zostať spoločný.

Pri generovaní scenárov podľa MIT vidím rozumnejší prvý krok než stavbu autonómneho agenta. Prevádzkový tím môže spolu s IT spísať päť kritických výpadkov a nechať AI vytvoriť varianty dopadov. Každý variant musí mať vlastníka, manuálny postup a merateľný čas obnovy. Ak sa tieto veci nezmenia, firma iba vyrobila ďalší dokument do zložky s názvom „AI pilot“.

Náklad treba počítať vrátane údržby. Zmení sa zdroj, legislatíva alebo rozhranie a odpoveď môže byť neaktuálna. Systém preto potrebuje monitorovanie odkazov, pravidelné testovacie otázky a upozornenie pri zlyhaní. Tichý pád je pri chatbotovi horší než otvorené odmietnutie odpovede.

Na záver

Príbeh učiteľov, ktorí sa stali terčom sexualizovaných deepfake videí vytvorených žiakmi, ukazuje inú stránku rovnakého problému. WIRED opisuje prípady, v ktorých obete nevedeli rýchlo nájsť účinnú cestu k odstráneniu obsahu ani k náprave v škole. Technológia pritom nepotrebuje veľký tím ani rozpočet. Stačí fotografia, nástroj a skupina ľudí, ktorá si neuvedomí, že za obrazom je skutočný človek. Pri AI sa často pýtame, čo dokáže. Menej často sa pýtame, kto bude riešiť následky.

Výzva na AI implementáciu dňa

Do týždňa si nasaďte jednoduchý audit odpovedí chatbota na citlivé otázky. Vytvorte v Google Sheets zoznam 30 testovacích otázok z oblasti zdravia, financií alebo práva. Pri každej uveďte použité odkazy, typ zdroja, jeho možné stanovisko, dátum kontroly a informáciu, či odpoveď odporučila človeka.

Produktovému manažérovi a zákazníckej podpore to zoberie opakované ručné hľadanie chýb. Prvé kolo zvládnete za 4 až 6 hodín a následná mesačná kontrola zaberie približne 60 minút. Ušetrí najmä čas pri reklamáciách a znižuje riziko, že firma poskytne zdanlivo neutrálnu, no zaujatú radu.

Najčastejšie to padne na tom, že nikto neurčí vlastníka tabuľky ani hranicu, pri ktorej sa odpoveď musí zmeniť. Priraďte ju konkrétnemu človeku a prvý audit spustite ešte tento týždeň.