Roboti vyhledávačů by se měli chovat slušně. Pokud stáhne velký objem dat, může to znamenat, že je váš web pro něj nový a pokouší se jej zaindexovat celý. Také to ale může znamenat, že máte nevhodně navrženou strukturu webu a že máte jednu stránku dostupnou přes mnoho různých adres, a robot pak stahuje ty různé adresy. To pak má negativní dopady i na výsledky vyhledávání, protože ty duplicitní stránky budou hodnoceny jako duplicitní obsah a bude se mezi ně rozmělňovat hodnocení.
Pokud se z jedné adresy stahuje velký objem dat, bude to opět nějaký robot a spíš to nebude útok. Otázka je, proč ten robot ty stránky stahuje. Objem opět může být daný nevhodnou strukturou URL,jak u toho vyhledávače. Pokud by to byl problém, je možné jednotlivé roboty zablokovat podle jména, kterým se hlásí, a nebo jejich IP adresy úplně odstřihnout na firewallu.
Ale jak už jsem psal, chce to najít někoho, kdo sítím rozumí, a kdo se podívá přímo na konfiguraci, do logů atd. A pak asi také někoho, kdo rozumí WordPressu a tvorbě webů – protože i kdyby měl ten e-shop spoustu obrázků a celý web opravdu měl jedno nebo dvě giga, není důvod, aby to nějaký robot stahoval každý den znova. Např. ty obrázky by se asi neměnily každý den, takže i kdyby si je robot znova vyžádal, měl by mu server odpovědět, že se obrázek nezměnil a neposílat ho znova celý.
11 Odpovědí
6257 Zhlédnutí