Agresivní bot(net) skenuje web

[Ħαℓ₸℮ℵ ␏⫢ ⦚ »]

Pod useragentem "Mozilla/5.0 (compatible;crawler)" mi (!)jednu doménu  denně  300-500x denně scanuje z  asi  160-200 /24 bloků (nebo při kvantizaci  /16 denně 32 bloků)

..agregovaně za 14 dní 4090 visits z  34 bloků /16   nebo 218 /24 ,

Je to normální co to je ?

Chtej jenom jpg obrazky , nic jineho ! Kdyz dam filtr logu ...grep -iv jpg vysledek je přesne nic

 Ktery uz tam davno nejsou.

Kód: [Vybrat]

13.213.
     79 13.214.
    127 13.215.
    117 13.228.
    169 13.229.
    171 13.250.
    104 13.251.
     50 175.41.
    219 18.136.
    183 18.138.
    129 18.139.
    136 18.140.
    103 18.141.
    154 18.142.
    117 18.143.
      6 217.113.
    128 3.0.
    174 3.1.
     58 37.27.
    111 46.137.
     33 47.128.
    312 47.130.
    237 52.220.
    133 52.221.
    233 52.74.
     74 52.76.
    158 52.77.
     71 54.151.
    120 54.169.
     91 54.179.
    137 54.251.
    230 54.254.

[Reklama]

[Exceptions]

když jsem četl agresivní, představil jsem si tohle množství požadavků každou vteřinu a ne jeden za několik minut.

Tohle normální být může, záleží co máš za obsah a jak často se ti mění.