Chystá Meta vlastní vyhledávač? Nebo je to příprava lepší AI?
Meta údajně masivně procházela internet pomocí botů pojmenovaných "meta-externalagent" a "meta-webindexer" s mnohonásobně vyšší frekvencí přístupů než konkurence. Podle tvrzení bývalého zaměstnance Meta se společnost snaží získat velké množství dat pro trénování nových AI modelů s parametry v rozsahu 5–10 bilionů. Spekuluje se, zda Meta připravuje vlastní vyhledávač nebo primárně sbírá data pro své AI systémy.
Pokud společnost Meta začala masivně procházet internet a její boti s názvy "meta-externalagent" a "meta-webindexer" dělají stonásobně více přístupů než boti z Google, X atd., něco se určitě děje. Už dříve proběhly internetem zvěsti, že Meta plánuje svůj vyhledávač, zatím se tak nestalo. Kdo co je cílem této náhlé aktivity. Bu´d potřebují data pro svou AI, kterou chtějí údajně zpřístupnit všem, nebo je to opravdu příprava půdy pro vyhledávač.
Proč by Meta chtěla vybudovat vlastní vyhledávač místo toho, aby používala Google?
Vybudování vlastního vyhledávače by Metě umožnilo mít kontrolu nad indexem svého webu pro trénování AI bez rizika, že Google by mohl tato data využít pro své vlastní trénování. Vlastní index by také poskytl Metě nezávislost na ostatních vyhledávačích.
Jaký je typický rozsah parametrů moderních velkých jazykových modelů?
Současné nejmodernější modely mají parametry v rozsahu desítek až stovek miliard. Ambice Mety trénovat modely s 5–10 biliony parametrů by představovala novou třídu AI systémů vyžadující masivní množství kvalitních trénovacích dat.
Jak lze identifikovat boty, které scrapují web?
Web scraper botů se identifikuje primárně podle jejich user-agent identity v HTTP požadavcích a patternů přístupu. Boti se obyčejně hlásí svým jménem (např. "Googlebot", "meta-webindexer"), ale mohou jej i maskovat. Anomálie v přístupu, jako neobvyklé množství requestů nebo cílení na specifické služby, mohou indikovat neznámé či neautorizované scrapování.
- Chrome zapomíná mazat uživatelská data z Google webu — lapcatsoftware.com 57 % shoda
- ChatGPT Work nově dokáže odkoukat a napodobit to jak píšete — x.com 55 % shoda
- Výzkumníci z Harvardu a MIT vytvářejí digitální svět simulující populaci Země — matraix.ai 54 % shoda