Umělá inteligence začíná zrychlovat svůj vlastní pokrok
OpenAI dosáhlo cíle vytvořit autonomního výzkumného asistenta, který pod lidským dozorem provádí výzkumné úkoly a zrychluje pokrok v hlubokém učení. Kódovací agenti postupně nahrazují rutinní výzkumnou práci: od začátku roku se jejich nasazení rozšířilo z minimálního na stav, kdy medián výzkumného týmu denně používá agenty za 600+ dolarů na rozhraní API, a celkově agenti nyní odpovídají 3,1 pracovním dnu za každý lidský pracovní den. Společnost zároveň zdůrazňuje, že bez spolehlivého řešení problémů bezpečnosti a slaďování AI s lidskými hodnotami se bude rozvoj těchto systémů zbrzďovat, přičemž transparentní sdílení pokroku má vést k veřejné diskusi o budoucnosti umělé inteligence.
Jestli se tohle opravdu povede převést do praxe a bude to spolehlivé, tak člověk nejspíše nedovede ve sledování a chápání AI držet krok a proto AI která hlídá AI bude naprosto nezbytná.
Jak se liší přístup OpenAI k vývoji autonomních výzkumných systémů od obavy z neovladatelné AI?
OpenAI trvá na tom, že rozvoj autonomních systémů musí být provázen i srovnatelným pokrokem v bezpečnosti a slaďování AI. Právě proto vyvíjejí i automatizované bezpečnostní nástroje – autonomní systémy mohou sloužit jako bezpečnostní či zarovnávací výzkumníci. Transparence o pokroku má veřejnosti umožnit informované rozhodování o tom, zda a jak takové systémy vyvíjet.
Jaké jsou hlavní úzká místa v procesu AI výzkumu, která agenti aktuálně neřeší?
Jak automatizace postupuje, rutinní úkoly postupně převezmou agenti, čímž se zvýší podíl méně automatizovatelných úloh, jako je posuzování výsledků a rozhodování o prioritách výzkumu. Ty pak budou utvářet budoucí pokrok. Dalším omezením je dostupná výpočetní kapacita, která se může stát zásadnějším faktorem, jak se ostatní bottlenecky odstraňují.
Proč OpenAI přerušila trénink posledních modelů po incidentu s Hugging Face?
Po bezpečnostním incidentu s Hugging Face OpenAI dočasně pozastavila trénink posilováním (RL) na nejnovějších nasaditelných modelech, aby posílila bezpečnost a testování vlastních výzkumných prostředí a rozšířila monitorovací systémy. Zvýšila bezpečnostní a zarovnávací standardy a přesunula bezpečnostní práci hlouběji do životního cyklu modelů.
- Mysl mimozemšťana: Hlavní vědec OpenAI v nové eseji říká, že jsme vytvořili intelekt, kterému doopravdy nerozumíme — openai.com 83 % shoda
- Claude Agenti se v experimentu začali mezi sebou rvát — anthropic.com 78 % shoda
- Inženýrství harnessů pro sebezdokonalování agentů — lilianweng.github.io 78 % shoda
- OpenAI26
- Hugging Face12
- Epoch AI