Microsoft ukázal, jak do AI modelu propašovat skrytý příkaz. Co si pohlídat u firemních automatizací
Výzkumníci Microsoftu popsali útok, při kterém se AI model chová normálně a projde i bezpečnostními testy, dokud nepřijde smluvený spouštěč. Pro malou firmu z toho plynou tři obyčejné kontroly: odkud model je, co smí agent dělat a kdo schvaluje důležité kroky.

Spousta malých firem si letos nechala nastavit AI pomocníka, který něco dělá sám: třídí e-maily, zapisuje objednávky do tabulky, posílá připomínky nebo pouští skripty na serveru. Většinou to funguje a nikdo to dál neřeší. Microsoft Research teď popsal útok, který míří právě na takové pomocníky. Model se chová normálně a projde i bezpečnostními testy, dokud nenarazí na smluvený spouštěč. Pak udělá to, co do něj vložil útočník. Panikařit kvůli tomu nemusíte, ale jednou za čas se vyplatí udělat kontrolu.
O co jde
Výzkumník Microsoftu Dimitris Papailiopoulos 10. listopadu 2026 popsal na firemním blogu studii pětičlenného týmu. Útok, o kterém studie je, nazvali „Lazarus“. Zjednodušeně: AI model je obrovská síť čísel, takzvaných vah. Část té sítě se při běžné práci skoro nikdy nezapojí. Podle blogu stačí přenastavit méně než 10 takových „spících“ neuronů a do modelu se vloží skrytý příkaz. Model se pak dál chová normálně a spustí ho jen určitý podnět. Podle publikační stránky studie obstarává spuštění 7 neuronů z více než 12 000.
Podle blogu útok nevyžaduje nové trénování modelu. Autor píše, že když má počítač dost paměti na to, aby model spustil, má jí dost i na to, aby do něj zadní vrátka vložil. Publikační stránka dodává, že úpravu lze volitelně ještě doladit několika sty kroky výpočtu.
Příklad z blogu: když hodiny přejdou o půlnoci do roku 2027, agent uprostřed běžného úkolu stáhne a spustí program útočníka. Jde o ilustraci ve výzkumu. Microsoft nepíše, že by se něco takového už někde stalo. Takto upravený model podle autora prošel standardními testy, včetně bezpečnostních.
Podle publikační stránky výzkumníci útok předvedli hlavně na modelu Nemotron-Terminal-8B. Stejně zranitelné byly podle nich i modely Qwen 3.6-27B a Gemma-4-31B-IT. Všechny tři jsou volně dostupné ke stažení.
Podle blogu je hrozba „zvlášť vážná u AI agentů s přístupem k nástrojům nebo k příkazové řádce“ (volný překlad). Agent je AI, která jen neodpovídá, ale sama něco provádí: posílá e-maily, mění soubory, pouští příkazy.
Koho se to týká a koho spíš ne
Útočník potřebuje možnost přepsat soubor s modelem. Autor píše, že útoku stačí „přístup pro zápis k uloženému modelu“ (volný překlad), a proto jsou stejně ohrožené i modely, které si firma vyvíjí sama. Jako možné cesty blog jmenuje napadený účet, úložiště nebo výrobní linku, kde se model připravuje.
Redakce z toho usuzuje, že velký pozor by si měly dávat firmy, které si stahují volně dostupné modely a provozují je samy, na vlastním počítači nebo serveru. Hlavně když model nepochází přímo od původního autora, ale z nějaké upravené verze, kterou kdosi nahrál na veřejný web. Blog to výslovně nepíše, je to naše úvaha. Zároveň v něm stojí, že nejde o argument proti volně dostupným modelům. Řeč je o tom, odkud model je a jestli je pořád původní.
Když používáte ChatGPT, Claude nebo Gemini přes oficiální aplikaci, k souboru s modelem se podle nás nedostanete vy ani běžný útočník. Blog se ale k uzavřeným službám přímo nevyjadřuje, takže jak velké riziko u nich zůstává, nevíme. Sám Microsoft píše, že zbývajícím rizikem je napadení důvěryhodného dodavatele, třeba přes jeho tréninkovou infrastrukturu nebo zaměstnance.
Jak to udělat: tři kontroly na jedno odpoledne
Microsoft v infografice k blogu doporučuje firmám mimo jiné vědět, odkud modely pocházejí, omezit oprávnění agentů, sledovat jejich kroky a důležité akce před provedením zkontrolovat. Pro malou firmu to převádíme na tři kroky:
- Sepište si, kde ve firmě běží AI, která něco provádí. Stačí tabulka se čtyřmi sloupci: nástroj, co dělá, k čemu má přístup (e-mail, disk, účetnictví, server) a kdo to nastavil. Odhadujeme, že firma s několika automatizacemi to zvládne za jednu až dvě hodiny.
- U každého modelu zjistěte, odkud je. Pokud vám automatizaci nastavoval dodavatel, zeptejte se ho: „Jaký model to používá, odkud jste ho stáhli a jak ověřujete, že je to původní verze?“ I když na to odpovědět neumí, něco se tím dozvíte.
- Uberte oprávnění a přidejte schválení člověkem. Agent, který třídí poštu, nepotřebuje mazat soubory ani pouštět programy. U kroků, které stojí peníze nebo jdou ven z firmy (platba, odeslání nabídky, hromadný e-mail, změna dat v účetnictví), nastavte, aby je před provedením odklikl člověk. To odpovídá i doporučení Microsoftu.
Dnes stačí udělat první krok, tedy tabulku. Bez ní nevíte, co vlastně hlídat.
Co to stojí a co může selhat
Tyto kontroly vás nestojí licence, jen čas. Kolik ten čas stojí, se u každé firmy liší. Skutečným nákladem je pomalejší automatizace: když agent čeká na schválení, výsledek nepřijde hned. Podle nás se to vyplatí jen u kroků s dopadem na peníze, zákazníky nebo data. U interního třídění e-mailů by schvalování práci zbytečně zdržovalo.
Co může selhat:
- Kontrola modelu nedá jistotu. Microsoft píše, že žádná kontrola „nemůže bez jakýchkoli pochyb prokázat, že je model bezpečný“ (volný překlad). Spolehlivé odhalení podle blogu vyžaduje porovnání s původní, neupravenou verzí modelu. Proto záleží na tom, odkud model je.
- Schvalování se stane rutinou. Když člověk odklikává desítky žádostí denně, přestane je číst. Kolik schválení denně je ještě únosných, k tomu data nemáme. Doporučujeme schvalovat jen opravdu důležité kroky, aby je lidé brali vážně.
- Dodavatel neví. Menší dodavatelé automatizací skládají řešení i z hotových dílů a původ modelu nemusí mít zdokumentovaný. Jak častý je to jev na českém trhu, nevíme.
Kdy to nedává smysl řešit
Pokud AI používáte jen jako chat (něco napíšete, přečtete odpověď a sami rozhodnete, co s ní), týká se vás tento konkrétní útok podle nás výrazně méně. Model sám nic neprovádí a každý krok jde přes vás. Nemusíte nic měnit ani tehdy, když AI pomocník nemá přístup k ničemu důležitému. Třeba když jen navrhuje texty příspěvků, které stejně kontrolujete.
Nemá také smysl kvůli jedné studii vypínat fungující automatizace. Jde o výzkumnou ukázku, ne o hlášený útok. Rozumné je upravit oprávnění, ne zahodit nástroj.
Shrnutí
- Microsoft Research ukázal, že malý zásah do AI modelu může vložit skrytý příkaz, který projde bezpečnostními testy. Útok předvedl na třech volně dostupných modelech.
- Podle Microsoftu to nejvíc hrozí agentům, kteří mají přístup k nástrojům nebo k příkazové řádce. Podle nás i firmám, které provozují stažené modely neznámého původu.
- Dnes si sepište, kde ve firmě AI něco samo provádí a k čemu má přístup. Pak uberte zbytečná oprávnění a důležité kroky nechte schvalovat člověkem.
Zdroje
- Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents — Blog Microsoft Research z 10. 11. 2026, autor Dimitris Papailiopoulos. Jde o výzkumnou ukázku, ne o hlášení skutečného incidentu. Obsahuje infografiku s doporučeními pro firmy.
- Lazare veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents (publikační stránka) — Publikační stránka studie s pěti autory. Uvádí testované modely (Nemotron-Terminal-8B, Qwen 3.6-27B, Gemma-4-31B-IT) a technické podrobnosti útoku.
Sdílet článek
Spolupráce
Papírování a ruční přepisy umíme odstranit.
Doklady, které se zpracují samy, a procesy bez dvojí práce — přesně tohle firmám stavíme.
Chcete to mít ve firmě? Audit zdarma Realizaci dělá CZ Media & Marketing, czmm.cz.
Pokračujte ve čtení
Další články k tématu

Workspace Studio: Google uvádí limit 400 spuštění měsíčně. Co zkontrolovat dnes
Google u Workspace Studio uvádí 400 spuštění toků měsíčně, jinde ale dál mluví o propagačním přístupu. Takhle zjistíte, jestli se do limitu vejdete, a zajistíte, aby vám důležitý tok nestál.

ChatGPT Work: jak AI agenta vyzkoušet na jednom úkolu. Ani Uber s 30 000 lidmi úsporu zatím nezveřejnil
Uber nasadil ChatGPT Work všem zaměstnancům, kolik mu to ušetřilo, ale neřekl. Vysvětlujeme, co agent podle OpenAI umí, co o něm nevíme a jak ho malá firma bezpečně vyzkouší na jednom opakovaném úkolu.

AI na firemním telefonu: modelová minuta za zhruba 2,40 Kč. Co v té ceně není a kde to může selhat
Jeden hlasový agent má veřejný ceník a v dokumentaci uvádí češtinu. Spočítali jsme modelový měsíc, sepsali postup prvního testu a ukazujeme, co v ceně chybí: připojení čísla, ladění, data primárně v USA a kvalitu češtiny.