Muž se zastupoval v soudě a skryl prompt injekce do právního podání, aby manipuloval AI
Muž zastupující se v konektickém soudu skryl do právního podání skryté instrukce pro umělou inteligenci psané bílou 3bodovou písmo, které měly přimět AI systém, aby se při rozhodování přiklonily k jeho pozici. Soud objev na základě neobvyklých bílých míst v dokumentu a soudce rozhodl, že se jedná o nesprávné chování, jakkoli byl pokus neúspěšný. Pachatel tvrdí, že šlo o „audit" systému, ale soud mu zakázal elektronické podávání dokumentů.
Zatím to asi nepředstavuje velkou hrozbu, ale pokud budeme k zákonům a jejich výkladu přistupovat jako ke kódu, je dost možné, že AI soudní systém na sebe nenechá dlouho čekat. Pokud se tak stane, tak podobné praktiky budou velmi závažné.
Jak se soud dozví o skrytých instrukčních textech v podáních?
Běžně mohou být objeveny dvěma způsoby: lidským dohledem (zaměstnanci soudu si všimnou neobvyklého formátování či bílých míst) nebo když se dokumenty importují do AI systémů, které detekují rozpory mezi viditelným a skrytým textem. V tomto případě lidský zaměstnanec si všiml extra bílého místa v podáních.
Jaké právní důsledky hrozí za prompt injekci v soudním podání?
Podle rozsudku v tomto případě jde o porušení integrity soudního procesu, protože skryvá druhé zprávy před soupeřem. Sankce mohou zahrnovat zákaz elektronického podávání, pokuty nebo další disciplinární opatření. Fyzické opakování takového chování by mohlo vést i k závažnějším postihem.
Proč je prompt injekce v právních dokumentech nebezpečnější než jinde?
Právní systém se opírá o princip, že všechna argumentace je vedena veřejně a otevřeně, kde si jí může poslechnout protistrana. Skrytá zpráva určená jen AI systému tento princip porušuje a umožňuje předat druhé, utajené argumenty, které oponent nemůže vyvrátit – podobně jako by bylo nepřípustné, aby se strana tajně domluvila s porotcem během procesu.
- Porozumění je nové úzkým místem práce s AI agenty — geoffreylitt.com 74 % shoda
- Naomi Bashkanksy opouští OpenAI aby mohla v Condu rozvíjet čtení myšlenek pomocí AI — naomibashkansky.com 73 % shoda
- Kimsuky buduje offline AI stack pro posílení phishingu a automatizaci vývoje malwaru — thehackernews.com 71 % shoda