Data poisoning: Optikou svou světů

Data poisoning představuje typ kybernetického útoku, při kterém útočník úmyslně zavádí škodlivá či zmanipulovaná data do systému. Nejčastěji se to děje u trénovacích dat využívaných pro učení neuronových sítí, velkých jazykových modelů nebo jiných modelů hlubokého učení. Vložením nesprávných nebo zavádějících informací, úpravou existující datové sady nebo jejím částečným odstraněním může útočník zásadně ovlivnit chování celého modelu. Protože zdroje dat bývají často velmi rozmanité - od internetu přes vládní databáze až po služby třetích stran - je riziko jejich „otrávení“ poměrně vysoké.[1]

Projevy útoků

Někdy lze v průběhu času pozorovat nevysvětlitelné zhoršení modelu, jindy se zase může nepředvídatelně změnit jeho přesnost. Dalším projevem může být například vychylování výsledků určitým směrem nebo se mohou začít objevovat výsledky, které jsou zcela neočekávané a nesprávné. Projevy tedy mohou být značně variabilní.

Rovněž nelze opomíjet ani přímé bezpečnostní incidenty spojené s přístupem k datům. V některých případech je může prozradit i neobvyklé chování zaměstnanců – např. neadekvátní zájem o školící data nebo použitá bezpečnostní opatření.

Útoky lze rozdělit na cílené/přímé (targeted) a necílené/nepřímé (non-targeted). Cílené útoky se zaměřují na konkrétní situace nebo výstupy, kdy se útočník pokouší manipulovat s chováním modelu s ohledem na konkrétní situaci. Necílené naopak směřují ke  snížení celkové výkonnosti modelu se záměrem oslabit jeho schopnost správně zpracovávat data. Příkladem necílených útoků je např. nesprávná interpretace dopravní značky nebo její záměna za jinou autonomními automobily.[2]

Techniky manipulace s daty

Mezi nejčastější techniky data poisoning(u) patří metody „label flipping“[3] či „mislabeling“[4]  který spočívá v úmyslné změně štítků (labelů) v trénovacím datasetu – například označením škodlivých nebo podvodných záznamů za „bezpečné“ – čímž se model naučí chybnému přiřazení. Oproti tomu „clean-label poisoning“ je rafinovanější: útočník nechává štítky v pořádku, ale mírně upravuje vlastnosti vstupů tak, aby v kombinaci s ostatními daty vedly k nežádoucímu chování modelu; protože vzorky „na pohled“ vypadají v pořádku, je detekce obtížná.[5]

„Backdoor poisoning“ představuje vložení skrytého spouštěče do modelu nebo datového kanálu - model funguje normálně, dokud mu není předložen vstup obsahující specifický spouštěč, který aktivuje nebezpečné chování.[6] Naopak „Availability attack“ má za cíl obecně degradovat výkon nebo dostupnost modelu - útočník vkládá nebo modifikuje velké množství vzorků tak, aby model ztratil přesnost či stabilitu.[7]

Jak zajistit integritu dat?

Z právního pohledu představuje data poisoning zásadní riziko. Zatímco v technické rovině může jít „jen“ o snížení přesnosti modelu, v oblastech jako je zdravotnictví nebo doprava (prostřednictvím autonomních vozidel) – mohou mít zkreslené výsledky fatální následky. Obrana proti těmto útokům vyžaduje kombinaci technických a organizačních opatření. Klíčovým je důkladné ověřování dat před jejich použitím, přísná kontrola přístupu k tréninkovým datům, uchovávání záznamů o jejich původu a změnách, využívání rozmanitých zdrojů a průběžné monitorování. Významnou roli hraje také tzv. kontradikční trénink, kdy je model připravován k rozpoznání manipulativních vstupů, a v neposlední řadě i vzdělávání zaměstnanců, aby byli schopni včas odhalit podezřelé chování.[8]

S postupným rozšiřováním AI systémů bude riziko data poisoning(u) stále významnější. Provozovatelé modelů, proto musí věnovat pozornost ochraně dat, prevenci útoků a dodržování právních předpisů, aby byli lépe připraveni čelit této nové generaci kybernetických hrozeb a zajistit spolehlivost a bezpečnost svých systémů.

Data poisoning optikou uměleckého světa

Ačkoliv je problematika „otrávených dat“ primárně spojena s oblastí kybernetické bezpečnosti jako takové, finančního sektoru či již zmíněného zdravotnictví a automotivní mobility, překvapivé „uplatnění“ našla rovněž v uměleckém prostředí.

Není tajemstvím, že zejména v oblasti filmového a audiovizuálního průmyslu rozsah a způsob užívání umělé inteligence v posledních letech čím dál výrazněji rezonuje. Ve filmovém světě před nedávnem vzbudila vášně herečka Tilly Norwood, vygenerovaná pomocí AI studiem Particle6, které ji představilo na nedávné konferenci v Curychu[9]. Zděšení a znechucení dala najevo nejen řada filmových celebrit, ale rovněž odborová organizace SAG-AFTRA[10]. Přitom je to teprve dva roky od doby, kdy se odehrála nejdelší stávka v historii právě SAG-AFTRA spolu s Writers Guild of America[11], v níž obavy z využívání umělé inteligence představovaly jedno ze  stěžejních témat a která vyústila v dosažení předběžné dohody s představiteli studií[12] o nové kolektivní smlouvě, která měla, mj., zajistit členům odborů ochranu před neregulovaným používáním AI.

A nejedná se jen o filmový svět. Na organizaci OpenAI, provozovatele chatbotu ChatGPT a společnost Microsoft, jako jednoho z jejích největších investorů, podala žalobu profesní organizace Authors Guild, autor ságy Game of Thrones George R. R. Martin, John Grisham, autor řady bestsellerů zejména z právního prostředí a dalších 15 spisovatelů již na podzim roku 2023. Jádro sporu spočívá v porušení autorských práv k beletristickým dílům skupiny spisovatelů, která byla bez souhlasu a náležité kompenzace použita k výcviku ChatGPT.[13]

Dopad umělé inteligence jako takové se však neomezuje pouze na tvorbu obsahu. Streamovací platformy typu Netflix a Amazon Prime Video využívají algoritmy AI k analýze spotřebitelských dat a předpovídání, jaký druh produkce bude mít větší pravděpodobnost úspěchu u publika. Důsledkem je ovlivnění kreativního rozhodnutí na samém počátku procesu, což snižuje autonomii tvůrců a upřednostňuje produkty určené k maximalizaci komerčních výnosů před podporou umělecké originality.

Kreativní obrana ?

Výše uvedené představuje pouze špičku ledovce míry nejistoty a obav, které umělecký svět pociťuje tváří v tvář prudkému nástupu využívání generativní umělé inteligence, a to zejména mimo území EU, kde přece jen jistá pravidla pro užívání AI postupně zavádí nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024 (Akt o umělé inteligenci).

V reakci na bezprecedentní zásah do autorských práv se však na obzoru objevila nová překvapivá forma odporu překračující tradiční formy obrany: ano, jedná se právě o data poisoning. Vlajkový projekt zde představuje iniciativa vědců Chicagské univerzity, která pracuje na výzkumných projektech Glaze či Nightshade.

Systém Glaze k ochraně děl využívá tzv. mimikry. Funguje tak, že  na vysoké úrovni porozumí AI modelům, přičemž následně pomocí algoritmů strojivého učení vypočítá sadu minimálních změn v uměleckému díle. Tyto změny lidské oko nepostřehne, avšak AI modely je vnímají jako zcela odlišný umělecký styl. Tyto mimikry lze připodobnit k UV záření, které má vlnovou délkou kratší než viditelné světlo a tudíž je lidským oknem nespatřitelné.[14]

Nightshade funguje podobně jako Glaze, ale místo obrany prostřednictvím mimiker využívá zkreslení reprezentovaných prvků v generativních obrazových modelech umělé inteligence. Lidské oko zde vnímá stínovaný obraz, který je z velké části nezměněn oproti originálu, model umělé inteligence však vidí v obraze dramaticky odlišné složení. Například lidské oko může vidět stínovaný obraz krávy na zeleném poli, ale model umělé inteligence zde vidí velkou koženou kabelku ležící v trávě. Po vycvičení na dostatečném počtu stínovaných obrázků, které obsahují krávu, bude model stále více přesvědčen, že krávy mají pěkné hnědé kožené rukojeti a hladké boční kapsy se zipem a možná i krásné logo značky. Nightshade je koncipován jako útočný nástroj, který mohou umělci používat k narušení AI modelů, které bez jejich souhlasu provádějí scraping obrázků a tím odradit od bezskrupulózní trénovaní modelů na „odstíněných“ datech.[15]

Zatímco vizuální umělci již aktivně testují a nasazují nové techniky, spisovatelé, novináři či scénáristé si budou na podobně sofistikované a účinné nástroje k ochraně svých děl ještě nějakou dobu počkat.

Závěr

Problematika data poisoning ilustruje složitost, kterou s sebou užívání AI nese. Na jedné straně zde systém manipulace dat může v konečném důsledku představovat zásadní ohrožení velké skupiny osob, bezpečnostní incidenty či dokonce fatální důsledky. Na druhé straně systémy jako Glaze a Nightshade, které de facto manipulaci dat také využívají, představují až partyzánské obranné mechanismy pro umělce, jimž jde často o podstatu živobytí.  

Cílem bude nezbytně najít křehkou rovnováhu – tedy způsob, jak podporovat další výzkum a vývoj umělé inteligence, avšak za současného zajištění transparentnosti, kompenzace a v neposlední řadě systému řízení rizik poskytovatelům a provozovatelům AI systémů.

Článek byl zveřejněn rovněž v magazínu epravo.cz 3/2025. 

[1] K definici data poisoning více zde:

https://www.ibm.com/think/topics/data-poisoning

[2] Tamtéž, k tomuto dále https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/

[3] https://www.ibm.com/think/topics/data-poisoning

[4] https://www.cloudflare.com/learning/ai/data-poisoning/

[5] https://www.ibm.com/think/topics/data-poisoning

[6]https://www.ibm.com/think/topics/data-poisoning, https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/, https://www.cloudflare.com/learning/ai/data-poisoning/

[7]https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning/  https://www.cloudflare.com/learning/ai/data-poisoning/

[8] Tamtéž

[9]https://www.reuters.com/sustainability/sustainable-finance-reporting/hollywood-performers-union-condemns-ai-generated-actress-tilly-norwood-2025-10-01/

[10] Americký odborový svaz herců a televizních a rozhlasových umělců 

[11] Sdružení amerických scénáristů 

[12] AMPTP - sdružení hájící zájmy velkých studií, streamovacích služeb a produkčních společností

[13] Podrobněji k tomuto zde:

https://authorsguild.org/news/ag-and-authors-file-class-action-suit-against-openai/

[14] https://glaze.cs.uchicago.edu/what-is-glaze.html

[15]https://nightshade.cs.uchicago.edu/whatis.html, dále k tomuto zde: https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/