Nejlepší multimodální modely stále selhávají při samotném vidění

Moonshot AI, tým stojící za asistentem Kimi, představil benchmark PerceptionBench. Test má oddělit vizuální vnímání od uvažování, znalostí a schopnosti odpověď hezky vysvětlit. Každý úkol má být řešitelný pouze pohledem na obrázek.

To je podstatná změna oproti běžným multimodálním testům. Ty často spojují čtení obrazu, práci s kontextem a logický úkol do jednoho skóre. Když model odpoví nesprávně, nevíme, zda obraz špatně přečetl, nebo špatně uvažoval.

PerceptionBench rozdělil vizuální schopnosti do 10 oblastí. Patří mezi ně počítání, prostorové vztahy, lokalizace, hloubka a 3D, atributy objektů, porovnávání, OCR, rozpoznávání detailů, kontext a halucinace. Kategorie nevznikly jen od stolu. Výzkumníci je sestavili z reálných chyb modelů.

Z více než 17 000 ověřených otázek zveřejnili 3 000 úloh. Přibližně 60 procent vycházelo z pozorovaných chyb modelů a zbytek vznikl úpravou obrázků. Příklady vypadají jednoduše. Model má určit polohu symbolu na ciferníku, spočítat květiny v červeném rámečku nebo říct, zda se na obrázku vůbec nachází určitý předmět.

Výsledek je nepříjemně nízký. Ze 16 testovaných frontier modelů dosáhl nejvyššího skóre GPT-5.6 Sol, konkrétně 59,7 procenta. Kimi K3 měl 58,5 procenta, Claude Fable 5 57,2 procenta, Gemini 3.1 Pro 56,2 procenta a GPT-5.5 55,8 procenta. Žádný model nepřekročil hranici 60 procent.

Rozdíl mezi prvními pěti modely byl přitom necelé 4 procentní body. To není soutěž, ve které vítěz unikl pelotonu. Je to spíš pět studentů, kteří si při stejném testu vyměnili místa podle toho, zda se ptáte na počítání, nebo na drobné detaily.

Nejslabší oblastí byla halucinace, tedy schopnost nevymyslet si objekt, který na obrázku není. GPT-5.6 Sol v ní získal pouze 26,9 procenta. Gemini 3.5 Flash, který měl slabší celkové skóre, zde dosáhl 50,6 procenta.

Výzkum zároveň zpochybňuje běžné vysvětlení, že multimodální model udělal „chybu v uvažování“. U vícestupňového úkolu může být problém už v prvním kroku. Model nesprávně přečte obraz a potom jen konzistentně rozvíjí nesprávný vstup.

Výsledky zapadají do starších zjištění. V testu WorldVQA dosáhl nejlepší model 47,4 procenta. V benchmarku BabyVision získal Gemini 3 Pro 49,7 procenta, zatímco lidé 94,1 procenta. Tato srovnání je však třeba číst opatrně. Každý benchmark testuje jinou sadu úloh a není úplnou simulací práce člověka. I samotní autoři upozorňují, že existující benchmarky zachycují pouze úzké výseky chyb ve vnímání.

Co si z toho odnést? Pokud chcete ve firmě použít AI ke čtení faktur, fotografií, skladových štítků nebo kontrole výrobků, nezačínejte tvrzením, že model „vidí“. Připravte vlastní testovací vzorek, měřte přesnost podle typu chyby a u kritických výstupů nechte rozhodnutí na člověku.

Knihy vytvořené pomocí AI plní katalog rychleji, než roste trh

Analýza 14 419 náhodně vybraných samovydaných e-knih na Amazonu sledovala tituly vydané od ledna 2023 do března 2026. Výzkumníci porovnávali celé texty s detektorem Pangram v3.3 a rozdělili knihy podle podílu textu označeného jako pravděpodobně vytvořený pomocí AI.

Knihy s výrazným podílem AI tvořily 20 procent sledovaného katalogu. Na prodeji však měly podíl 12,1 procenta a na tržbách 11,3 procenta. Tituly bez zachyceného textu vytvořeného pomocí AI tvořily 62,9 procenta katalogu a přinesly 72,5 procenta tržeb.

Na první pohled to vypadá jako důkaz, že knihy vytvořené pomocí AI jsou jen levná výplň. Jenže pod povrchem se zmenšil celý prostor pro každého autora. Katalog mezi prvním čtvrtletím 2023 a prvním čtvrtletím 2026 narostl 38,3násobně, počet titulů s prodejem za čtvrtletí 19,2násobně a tržby pouze 8,9násobně.

Tržba na knihu klesla v 6 z 8 žánrů. U knih bez zachyceného textu vytvořeného pomocí AI klesla v 7 z 8 žánrů. Autoři studie výslovně upozorňují, že jde o pozorovací a souvislostní zjištění. Neprokazuje, že pokles způsobila samotná AI.

Co si z toho odnést? U firemního obsahu nestačí vyrábět více textu levněji. Pokud počet průměrných výstupů roste rychleji než poptávka, cena pozornosti klesá i pro kvalitní značky. AI používejte na varianty a rešerše, ne jako náhradu za vlastní názor a redakční kontrolu.

Alibaba hlásí tři miliardy stažení open-weight modelů

Alibaba tvrdí, že její open-weight modely za posledních 6 měsíců překročily 3 miliardy stažení. Open-weight znamená, že váhy modelu jsou dostupné k použití nebo úpravě podle konkrétních licenčních podmínek, nikoli že celý systém je automaticky otevřený ve všech ohledech.

Samotný počet stažení však neříká, kolik nasazení běží v produkci. Jedno stažení může znamenat test, archivaci, další zrcadlo nebo skutečně používaný model. U tohoto tvrzení navíc v dodaném materiálu chybí nezávislý zdroj a podrobná metodika. Proto je třeba ho číst jako firemní oznámení, nikoli jako ověřený počet aktivních uživatelů.

Pro firmy ve střední Evropě je zajímavější dostupnost alternativ než samotné marketingové číslo. Open-weight model může dávat smysl u citlivých dokumentů, velkého objemu požadavků nebo potřeby provozu ve vlastním prostředí. Přináší však také náklady na infrastrukturu, aktualizace, bezpečnostní testy a provozní dohled.

Co si z toho odnést? Při výběru modelu porovnejte cenu rozhraní s úplnými náklady vlastního provozu. Stažení modelu není implementace. Před rozhodnutím si změřte objem dat, požadovanou latenci, náklady na server a způsob přechodu k jinému dodavateli.

Co ještě stojí za přečtení?

  • Robotická firma Unitree v roce 2025 odeslala více než 5 500 humanoidních robotů a připravuje vstup na čínskou burzu, podle zprávy Wired přes Techmeme.
  • Podniky v roce 2025 utratily za kvantové počítání 300 milionů dolarů, poprvé více než výzkumné laboratoře a vlády dohromady, uvádí Wall Street Journal a BCG přes Techmeme.
  • World Labs dokáže z jednoho skutečného robotického úkolu vytvořit tisíce simulovaných variant pro trénink řízení, píše The Decoder.
  • Nový příspěvek na arXivu navrhuje diagnostiku integrity výzkumu u jazykových modelů používaných jako spolupracovníci vědců, podrobnosti jsou v práci na arXivu.
  • Při velkém počtu současných omezení mohou jazykové modely zažít prudký propad výkonu, uvádí další příspěvek na arXivu.

Co si o tom myslím a co z toho plyne pro firmy

Můj názor

Výsledek PerceptionBench beru jako užitečnou brzdu vůči představě, že vyšší skóre v uvažování automaticky znamená spolehlivější obraz světa. Neznamená. Model může velmi přesvědčivě vysvětlit, proč je na obrázku pět předmětů, ačkoli tam jsou čtyři. V takovém případě nepomůže delší odpověď ani lépe formulovaný prompt. Chyba vznikla ještě před uvažováním.

Považuji za správné, že benchmark rozkládá úkol na menší schopnosti. Celkové skóre 59,7 procenta je sice vhodné do titulku, ale rozdíl mezi 26,9 procenta u halucinací a 50,6 procenta u jiného modelu je pro nasazení mnohem důležitější. Firma nepotřebuje vědět, který model vyhrál tabulku. Potřebuje vědět, u kterého typu dokumentu se plete.

Prezentace AI není výsledek. Výsledkem je proces, který běží každý den a šetří čas nebo peníze. PerceptionBench proto podle mě není důvod AI odložit. Je důvod přestat jí zadávat úkoly bez měření. Pokud systém čte etikety, kontroluje poškození nebo extrahuje údaje z fotografií, musí mít vzorek reálných případů, práh jistoty a jasný postup při nejistotě.

Důsledek pro slovenskou a českou firmu

Pro běžnou slovenskou a českou firmu to mění především způsob nákupu. Obchodník vám ukáže ukázku s čistým obrázkem a správným výsledkem. Vy si potřebujete vyžádat test na vlastních datech, včetně rozmazaných fotografií, různých formátů, chybějících polí a dokumentů od více dodavatelů.

Ve financích se to týká účetních a back-office týmů. AI může předvyplnit fakturu, ale neměla by bez kontroly rozhodnout o částce, sazbě DPH nebo bankovním účtu. Ve výrobě se to týká kvality. Model může označit výrobek jako bezchybný i tehdy, když nevidí malou prasklinu. V logistice může špatně přečíst štítek a vytvořit problém, který se projeví až u zákazníka.

Praktický postup lze nastavit během několika dní. Shromážděte 200 až 500 historických případů, nechte je označit člověkem a rozdělte chyby podle typu. Potom porovnejte dva nebo tři modely na stejném vzorku. Neměřte pouze průměrnou přesnost. Sledujte také počet kritických chyb, počet případů odeslaných k ruční kontrole a čas na jednu položku.

Na slovenském i českém trhu platí stejná technická pointa. Rozdíl může být v dokumentech, jazyce, účetních pravidlech a dodavatelských formulářích. Proto nestačí test z amerického benchmarku. PerceptionBench vám ukáže obecnou slabinu, ale neřekne, jak dobře model přečte váš český dodací list nebo slovenskou výrobní etiketu.

Stejnou disciplínu je třeba uplatnit u knih a firemního obsahu. Alibaba zase ukazuje, že dostupnost modelu může růst rychleji než schopnost firmy ho bezpečně provozovat. Počet stažení není počet zákazníků a počet vygenerovaných textů není počet užitečných výstupů. Úspora času existuje až tehdy, když ušetřený čas použijete na další práci, ne když jen zvětšíte hromadu konceptů.

Největší riziko dnes nevidím v tom, že firmy AI nepoužijí. Vidím ho v tom, že ji nasadí do procesu, který nemá definovaný správný výsledek. Automatizovat nepořádek znamená jen vyrábět nepořádek rychleji. U obrazu je tento problém horší, protože chybný výstup často působí sebejistě a systém může selhávat potichu.

Co si z toho odnést? Každý AI projekt, který pracuje s obrazem, musí mít před uvedením do produkce vlastní test, definované kritické chyby a člověka odpovědného za kontrolu. Model vybírejte až po změření procesu. Nejlepší model v interním žebříčku nemusí být nejlepší model pro vaši firmu.

Na závěr

Lidé v Číně jsou podle přehledu přes Techmeme vůči AI optimističtější než Američané. I zde platí, že číslo je pouze začátek příběhu. Optimismus může znamenat větší důvěru v technologii, ale také větší očekávání od státu, škol a firem.

Technologie se nakonec ve společnosti neuchytí proto, že vyhrají benchmark. Uchytí se tehdy, když lidem odstraní konkrétní otravný úkol a zároveň jim nevezmou možnost výsledek zkontrolovat. I umělá inteligence potřebuje někoho, kdo se podívá na obraz a řekne: tohle nesedí.

Výzva k AI implementaci dne

Během jednoho týdne nasaďte malý vizuální ověřovač pro jeden konkrétní typ dokumentu, například dodavatelskou fakturu. Vyberte 200 historických kusů, označte správné hodnoty a porovnejte výstup dvou dostupných multimodálních modelů. Automatizace může účetnímu nebo administrativě odebrat první přepisování údajů, ne konečné schválení.

Při 200 dokumentech měsíčně a 3 minutách ručního přepisu je realistická úspora přibližně 10 hodin měsíčně. První verzi dokážete spustit za 3 až 5 pracovních dní. Nejčastěji selže na nejasném pravidle, co má systém udělat při nízké jistotě nebo nečitelném poli.

Vyberte jednu sadu dokumentů, změřte ji a nastavte kontrolu ještě tento týden.