... klasika. Já říkám, že dneska trénuje vlastní AI každý, do má zespoda díru (_|_)
Těch různejch AI, crawlerů, botů a jiné havěti je po netu tuna. Počítej s tím, že podle provozu děláš web tady pro tyhle robotické darmožrouty.
Vyplatí se nasadit Cloudflare (i free tarif) a blokovat rovnou celé AS, které jsou ti u zadele z business pohledu a ti, kteří by tě mohli zajímat vzít více jemně, po IP nebo vynucená captcha. CF má "seznamy" známých botů, můžeš jim explicitně vždy povolit připojení, aby ani při režimu UAM nebyli v blokaci.
Je dobré nastavit rozumně "rate limiting", aby ti tam pokud možno běžný smrtelník nespadl, ale nezvaného robota to zastavilo.
Já mám např. v blokacích celé AWS (nic dobrého odtamtud nikdy nepřišlo
) a stejně např. amazonbot dál prochází web.
PS: Cloudflare má i caching, takže je schopný odbavit spoustu dat ze svojí cache a k tobě nedojde ani packet. U mě to dělá 2/3 provozu, který mi ušetří.
Ikdyž třeba obsloužení obrázku není vůbec významná zátěž, vynásob to 1000 a už bude
Rád dávám za příklad cokoli levného, třeba nanuk, 1 stojí 15-20 kaček, pohoda... ale co takhle 1000 nanuků, to už není marginální
8 Odpovědí
3023 Zhlédnutí