Swiftlet: Runtime pro spouštění 80B Qwen v 4,3 GB RAM na Macu a 35B na iPhonu

Swiftlet používá techniku streamování vah jednotlivých expertů z disku na vyžádání. V operační paměti zůstává pouze menší husté jádro modelu (asi 2,5 GB), zatímco těžké experti se načítají z pevného disku podle potřeby. Díky vysoké sparsitě modelů Qwen se na jeden token aktivuje pouze asi 3 miliard z 80 miliard parametrů.

Na Macu (se Apple Silicon) běží 35B model s 2,6 GB RAM a generuje 7–11 tokenů za sekundu, zatímco 80B verze potřebuje 4,3 GB RAM a dosahuje 4,5–5 tokenů za sekundu. Na iPhonu se 35B model spouští s 2,5 GB RAM v řádu 1 tokenu za sekundu, je však vhodný pro interaktivní konverzaci.

Swiftlet se zaměřuje na Qwen modely, které používají MoE architekturu. Každá vrstva směruje tokeny do malého podmnožství expertů z velkého fondu (např. 10 z 512 expertů u 80B verze). To znamená, že pouze malá část parametrů je aktivní na token, což umožňuje efficient spuštění na zařízeních s omezenou pamětí.

Swiftlet je napsán v Swiftu a Metalu s runtime kompilací shaderů, takže nevyžaduje toolchain Metalu v čase kompilace a stejný kód běží na iOS i macOS. Používá optimalizované mechanismy cachování expertů a fixed-stride packing na SSD, které minimalizují režii I/O operací.