99 % návštěvnosti mého webu tvoří boti
Autor své webové stránky s databází filantropů zaznamenal, že 99 % provozu pochází od botů. Za rok bojoval proti skraperu z Číny, který v jednom dni generoval 3,6 milionů žádostí, a proti AI crawlerům společností jako Anthropic a Amazon, které čtou desítky tisíc stránek bez toho, že by poslaly alespoň jednoho návštěvníka. Autor zdokumentoval své obranné strategie včetně geografických bloků a pravidel na Cloudflare.
Claudflare nedávno reportoval že boti překročili svou aktivitou v online prostoru tu lidskou. AI tohle vše jen akceleruje. Pokud má někdo web jehož provoz zatěžují převážně entity (a je jedno zdali organické nebo syntetické), které více berou jak dávají. Jak dlouho takový web bude asi fungovat? Internet se zásadně mění, tak si držme palce ať je to do podoby, kterou opravdu chceme.
Jak mohou správci webu rozeznat boty od skutečných návštěvníků?
Boti obvykle nemají referrer, navštíví pouze jednu stránku s vysokou bounce rate a nevykonávají JavaScript. Správci mohou sledovat surové logy serveru, protože JavaScript-based analytika jako Google Analytics zaznamenává pouze lidské návštěvníky. Cloudflare poskytuje přehled bot-specific provozu a umožňuje nastavit pravidla na úrovni edge serveru.
Jaký je typický poměr mezi počtem stránek, které crawler projde, a počtem návštěvníků, které pošle?
Kvalitní vyhledávače jako Googlebot mají poměr zhruba 46 stránek na jednoho návštěvníka. AI crawlery jsou horší: Claudeův bot dosahoval 35 000:1, Amazonův crawler měl nekonečný poměr (nikdy neposlal nikoho). Bingbot je s poměrem 406:1 horší než Google, ale stále elfektivnější než AI tréninkové boty.
Jsou všechny geografické blokády vhodným řešením problému botů?
Geografické bloky mohou pomoci proti masovým vlnám z konkrétních zemí (např. Čína, Vietnam), ale nejsou dokonalé. Skrapery se přizpůsobují a mohou začít útočit z jiných míst, například z amerických datacenter na AWS. Lepší je kombinovat geografické bloky s dalšími pravidly jako CAPTCHA, kontrola referreru a blokování konkrétních user-agentů.
Jak by měli vlastníci webu přistupovat k blokování AI botů?
Polité AI společnosti respektují HTTP 403 (access denied). Vlastníci mohou prosté nastavit pravidla na Cloudflare nebo v robots.txt a monitorovat, zda je bot respektuje. Problém je, že některé crawlery hodnotu poslané návštěvníků zcela postrádají, takže je rozumné je zablokovat, zvláště pokud spotřebovávají značné kapacity serveru.
- Kitesurf: Prohlížeč s agenty, který běží v izolátech V8 na Cloudflare Workers — blog.cloudflare.com 74 % shoda
- Umělá inteligence požírá web, kolektivní paměť internetu mizí — thewalrus.ca 73 % shoda
- Microsoft GitHub zažívá velký výpadek — news.ycombinator.com 72 % shoda
- PatronView
- Cloudflare5
- Anthropic16
- Claude8
- Amazon3
- Google37
- Bing
- Plausible