← Celý proud Zmiňuje

vLLM

Seznam obsahuje odkazy na lokální a opensource AI modely s důrazem na jejich provozování a optimalizaci. Zahrnuje informace o malých modelech jako LFM2.5-2.6B určených pro běh na omezených zařízeních, velké modely DeepSeek-V4-Flash s miliardami parametrů a praktické návody na jejich nasazení s inference frameworky vLLM a SGLang. Materiály se zabývají jak samotnými modely a jejich výkonem, tak technickými aspekty jejich provozu na konkrétním hardware.

Úvod píše AI ze shrnutí odkazů níže.