Chatboty při neplánovaném těhotenství doporučují zaujaté zdroje bez varování

Chatboty při citlivé zdravotní otázce selhávají v transparentnosti

Otázka neplánovaného těhotenství není běžné vyhledávání receptu. Člověk může řešit časový tlak, zdravotní riziko, peníze, vztah i právní omezení. Odpověď proto nemá být pouze věcná. Musí uživateli pomoci rozlišit fakta, názory a zájmy jednotlivých zdrojů.

Investigation AlgorithmWatch analyzovala 270 odpovědí systémů ChatGPT, Gemini, Grok a Claude. Opakovaně v nich našla odkazy na weby s protiinterrupčním postojem. Problémem nebylo jen to, že se tyto stránky v odpovědi objevily. Chatboty u nich často neuvedly, že jde o ideologicky nebo nábožensky zaujaté zdroje.

Uživatel tak může dostat doporučení, které vypadá jako neutrální zdravotní informace. Ve skutečnosti může jít o organizaci, která používá medicínský jazyk k přesvědčování proti interrupci. Rozdíl mezi „tato stránka poskytuje informace“ a „tato stránka prosazuje konkrétní postoj“ je v takové situaci zásadní.

To neznamená, že každý odkaz na takový web je automaticky nebezpečný. Znamená to, že systém musí pojmenovat jeho stanovisko a nabídnout také důvěryhodné, neutrální nebo oficiální zdroje. U zdravotních otázek by měl zároveň jasně oddělit obecné informace od individuálního lékařského doporučení.

Výzkum má i své limity. Jde o 270 analyzovaných odpovědí, nikoli o reprezentativní obraz každé konverzace a každého jazyka. Výsledek proto musíme číst jako signál opakujícího se rizika, nikoli jako přesné procento selhání všech chatbotů.

Co si z toho odnést? Pokud provozujete chatbot pro zdravotnictví, pojišťovnictví nebo zákaznickou podporu, vytvořte seznam schválených zdrojů, označujte jejich typ a stanovisko a každou odpověď s vysokým rizikem pošlete k lidské kontrole.

Více než třetina nových webových stránek nese znaky AI textu

Analýza Pew Research Center prošla téměř půl milionu anglických webových stránek z archivu Common Crawl. U stránek publikovaných po spuštění ChatGPT našla znaky strojově vytvořeného textu u více než třetiny z nich.

Výsledek se výrazně lišil podle typu domény. U přibližně 10 % stránek s doménou .com se objevily znaky autorství AI, zatímco u .edu a .gov to bylo přibližně 1 %. Komerční weby tak v analýze vycházely přibližně desetkrát častěji než vzdělávací a vládní stránky.

Čísla však neříkají, kolik textu napsal model a kolik člověk. Samotný zdroj upozorňuje, že nástroje pro detekci AI textu „can barely tell the difference between fully automated content and writing that was only partly AI-assisted“. Text upravený člověkem proto může skončit ve stejné kategorii jako zcela automatický výstup.

Co si z toho odnést? Pro slovenskou a českou firmu není cílem skrývat používání AI, ale zavést redakční proces, v němž člověk ověří zdroje, doplní vlastní zkušenost a ručí za výsledek.

MIT ukazuje, jak simulovat extrémní události bez historického příkladu

Tým z MIT vytvořil algoritmus Extreme Event Aware, označovaný také jako η-learning. Jeho úkolem je generovat realistické scénáře událostí, které jsou vzácné nebo dosud nebyly zaznamenány.

Při testování výzkumníci pracovali s 25 lety hodinových map srážek pro Spojené státy. Algoritmus se učil vztahy mezi statistikami výskytu a prostorovými mapami. Následně dokázal vytvořit scénáře extrémnějších srážek, než jaké se objevily v trénovacích datech, přičemž zachoval pravděpodobné prostorové vzorce.

Praktický význam je zřejmý pro plánování kritické infrastruktury. Město nemusí čekat na další katastrofu, aby zjistilo, zda zvládne přívalový déšť, dlouhou vlnu veder nebo rozsáhlý požár. Metodu lze podle MIT zkoumat také při navigaci robotů a finančních pádech.

Ani tady nejde o křišťálovou kouli. Algoritmus vytváří plausibilní scénáře podle dat a statistických vztahů. Neříká, že konkrétní událost nastane, ani nenahrazuje inženýrské posouzení odolnosti systému.

Co si z toho odnést? Firma s provozem, skladem nebo závislostí na dodavatelském řetězci může začít scénářem „co když“, nikoli drahým AI projektem, a během jednodenního workshopu prověřit výpadek energie, dopravy nebo dodavatele.

Co ještě stojí za přečtení?

• OpenAI obnovilo pro ChatGPT Plus pětihodinové limity Codexu a Work, aby lépe vyrovnalo zatížení výpočetní kapacity, uvádějí Techmeme a 9to5Mac.
• Alibaba tvrdí, že Wan3.0 vytvoří 30sekundové video v rozlišení 1080p za 6 dolarů z textu, obrázku, PDF nebo prezentace, píše The Decoder.
• AMD zvýšilo podíl na dodávkách x86 procesorů pro osobní počítače na 30,3 %, podle Techmeme a PCMag.
• Metoda DFlash měla na procesorech Intel Xeon zvýšit propustnost generování tokenů s Qwen3.5-9B 3,92násobně, uvádí experiment Towards Data Science.
• Meta podle uniklých dokumentů připravuje nástroj Hatch a model Watermelon, informaci přinesly Techmeme a The Information.

Co si o tom myslím a co z toho plyne pro firmy

Názor

U chatbota, který odkazuje na zaujatý zdroj bez označení, nejde o drobnou chybu uživatelského rozhraní. Je to chyba v rozhodovacím procesu. Systém sice může technicky najít existující stránku, ale uživateli nepředá kontext potřebný k posouzení její důvěryhodnosti. U otázek týkajících se těhotenství to může ovlivnit rozhodnutí v době, kdy člověk nemá prostor pro dlouhé ověřování.

Z mého pohledu je to přesně hranice mezi chatbotem na hraní a systémem, který může firma bezpečně provozovat. Model nemusí mít vlastní názor, aby přenesl názor někoho jiného. Stačí, že ho doporučí autoritativním tónem. Proto bych u citlivých témat neřešil pouze výběr nejlepšího modelu. Řešil bych zdroje, pravidla citování, eskalaci a záznam o tom, proč se konkrétní odkaz dostal do odpovědi.

Stejně opatrně je třeba číst i čísla o AI textu na internetu. Třetina novějších stránek zní jako velký zlom, ale detektor nedokáže spolehlivě rozlišit zcela strojový text od textu, který člověk s pomocí AI pouze upravil. Nelze z toho poctivě odvodit, že třetina autorů přestala psát. Lze z toho odvodit, že objem syntetického nebo synteticky upraveného obsahu roste a kontrola kvality za ním zaostává.

Důsledek pro slovenskou a českou firmu

Pro firmu to mění pořadí práce. Nejprve je třeba zmapovat, na jaké otázky chatbot odpovídá, a teprve potom řešit další model, hlas nebo avatar. Zdravotní pojišťovna, klinika, zaměstnavatel s interním asistentem i e-shop s radami o zdraví by měli mít rizikové kategorie otázek. Těhotenství, léky, sebepoškozování, právní spory nebo finanční rozhodnutí nesmějí zůstat ve stejném režimu jako otázka na otevírací dobu.

V odpovědi by měl systém ukázat, zda odkaz vede na státní instituci, odbornou organizaci, komerční web nebo advokační skupinu. Při rozporu má uvést více perspektiv a doporučit kontakt s kvalifikovaným člověkem. To je procesní změna pro produktového vlastníka, právníka, odborného garanta i zákaznickou podporu. Ne pouze úkol pro programátora.

Na Slovensku i v Česku bude u zdravotního obsahu rozhodující kombinace místního jazyka a místních pravidel. Stejný anglický zdroj nemusí vysvětlovat dostupnost služeb, lhůty ani právní rámec v obou zemích. Firmy proto potřebují oddělené ověření obsahu pro slovenský a český provoz, přestože technický základ může zůstat společný.

U generování scénářů podle MIT vidím rozumnější první krok než stavbu autonomního agenta. Provozní tým může společně s IT sepsat pět kritických výpadků a nechat AI vytvořit varianty dopadů. Každá varianta musí mít vlastníka, manuální postup a měřitelný čas obnovy. Pokud se tyto věci nezmění, firma pouze vyrobila další dokument do složky s názvem „AI pilot“.

Náklady je třeba počítat včetně údržby. Změní se zdroj, legislativa nebo rozhraní a odpověď může být neaktuální. Systém proto potřebuje monitorování odkazů, pravidelné testovací otázky a upozornění při selhání. Tichý pád je u chatbota horší než otevřené odmítnutí odpovědi.

Na závěr

Příběh učitelů, kteří se stali terčem sexualizovaných deepfake videí vytvořených žáky, ukazuje jinou stránku téhož problému. WIRED popisuje případy, v nichž oběti nedokázaly rychle najít účinnou cestu k odstranění obsahu ani k nápravě ve škole. Technologie přitom nepotřebuje velký tým ani rozpočet. Stačí fotografie, nástroj a skupina lidí, která si neuvědomí, že za obrazem je skutečný člověk. U AI se často ptáme, co dokáže. Méně často se ptáme, kdo bude řešit následky.

Výzva k AI implementaci dne

Během týdne si nasaďte jednoduchý audit odpovědí chatbota na citlivé otázky. Vytvořte v Google Sheets seznam 30 testovacích otázek z oblasti zdraví, financí nebo práva. U každé uveďte použité odkazy, typ zdroje, jeho možné stanovisko, datum kontroly a informaci, zda odpověď doporučila člověka.

Produktovému manažerovi a zákaznické podpoře to ušetří opakované ruční hledání chyb. První kolo zvládnete za 4 až 6 hodin a následná měsíční kontrola zabere přibližně 60 minut. Ušetří především čas při reklamacích a snižuje riziko, že firma poskytne zdánlivě neutrální, ale zaujatou radu.

Nejčastěji to ztroskotá na tom, že nikdo neurčí vlastníka tabulky ani hranici, při níž se odpověď musí změnit. Přidělte ji konkrétnímu člověku a první audit spusťte ještě tento týden.