Jaký je nejlepší programovací jazyk pro kódovací AI agenty?
Článek zkoumá, které programovací jazyky jsou efektivnější pro AI agenty, a zpochybňuje často citovaný závěr, že dynamické jazyky jsou levnější na tokeny. Vlastní evaluace na komplexnější úloze (implementace zstd dekoléru) ukazuje, že rozdíl mezi statickými a dynamickými jazyky není tak dramatický a mizí s rostoucí složitostí problému, přičemž popularita jazyka slabě koreluje s lepšími výsledky.
Tak tohle je velké téma. Blíží se doba, kdy kód už ani číst nebudeme, čili nám bude celkem jedno v jakém jazyce je daný nástroj, nebo aplikace napsaná. Ale je dobré alespoň rámcově vědět, proč AI agent zvolil zrovna tento jazyk na tento úkol. Kdo ví třeba se blíží doba, kdy AI bude psát kód přímo na HW úrovni.
Proč jsou dynamické jazyky považovány za efektivnější pro LLM agenty?
Dynamické jazyky nevyžadují explicitní deklarace typů, což činí kód kompaktnějším a zmenšuje počet tokenů potřebných k vyjádření stejné logiky. Tuto hypotézu podporují Martinova analýza a různé benchmarky, které ukazují, že dynamické jazyky mohou mít 1/2 až 1/3 tokencost statických jazyků.
Jaké problémy mají stávající benchmarky pro porovnání jazyků?
Existující benchmarky používají často triviální úlohy (např. Rosetta Code), kde se rozdíly mezi jazyky maximalizují. Jejich metodologie má také chyby – například druhý benchmark měl nesprávně nastavené testy, kdy agent jednoho jazyka přepsal cesty ostatních, což znehodnotilo výsledky pro jiné jazyky.
Co ukazují autorovy vlastní experimenty s komplexnější úlohou?
Při implementaci zstd dekoléru (komplexnější problém) se rozdíly mezi statickými a dynamickými jazyky stírají. Na vyšší úrovni úsilí vedou někdy statické jazyky, a celkově je vidět slabá až střední pozitivní korelace mezi popularitou jazyka a kvalitou výsledků AI.
- Porozumění je nové úzkým místem práce s AI agenty — geoffreylitt.com 76 % shoda
- LFM2.5-2.6B malý a dostatečně chytrý AI lokální model — liquid.ai 75 % shoda
- Claude Agenti se v experimentu začali mezi sebou rvát — anthropic.com 75 % shoda
- zstd
- Clojure
- Rust3
- Go
- C++
- Python
- GPT-5.6 Sol8
- Dan Luu