Společnost Meta právě vydala Muse Glimmer malý plně otevřený AI model
Meta představila Muse Glimmer, třicetimiliardový otevřený AI model určený pro místní agentic úlohy. Model lze spustit na macu nebo počítači s jedinou spotřebitelskou GPU a je optimalizován pro funkce jako volání funkcí, kódování a vyhodnocování. Meta jej vydává s licencí Apache 2.0 a poskytuje vývojářům dokumentaci a integrace do nástrojů jako llama.cpp, MLX a ExecuTorch.
Budoucnost je v malých chytrých a ideálně i decentralizovaných AI modelech. Které ideálně poběží na lokálně a budou složit pro každodenní činnosti. Velké AI frontear modely se budou používat jen pro opravdu složité, komplexní úlohy a k učení a ladění tech menších.
Jaké jsou hlavní výhody menších, místně spuštěných AI modelů?
Menší modely lze provozovat bez cloudové infrastruktury a síťového připojení, což umožňuje používání AI kdykoli a kdekoliv. Pokud jsou efektivně trénované, mohou dosahovat výkonu srovnatelného s velkými modely na specifických úlohách a lépe se vejdou do paměti spotřebitelských zařízení.
Co je distilace a proč se používá v modelech jako Muse Glimmer?
Distilace je technika, při níž menší model (student) učí větší model (učitel) svými znalostmi. Meta použila distilaci při tréninku Muse Glimmeru od většího modelu Muse Spark, aby menší model převzal schopnosti agent-basedova rozhodování bez potřeby stejných výpočetních prostředků.
Jak funguje spekulativní dekódování v Muse Glimmeru?
Spekulativní dekódování používá malý pomocný model (drafter), který navrhuje bloky tokenů najednou. Hlavní model pak tyto návrhy paralelně ověřuje, přijímá správné tokeny a opravuje chybné. Tímto způsobem se generování textu zrychluje bez ztráty kvality.
- Muse Code a Muse Spark 1.2 nejlepší AI modely od Meta AI — research.meta.ai 79 % shoda
- LFM2.5-2.6B malý a dostatečně chytrý AI lokální model — liquid.ai 77 % shoda
- Muse Spark 1.3 chce konkurovat Opusu a GPT 5.6 Sol — developer.meta.com 76 % shoda
- Meta8
- Muse Glimmer
- Meta Superintelligence Labs
- Apache 2.0
- Hugging Face12
- llama.cpp
- MLX3
- ExecuTorch
- Muse Spark
- DFlash