Nemáte na tom serveru u bráchy fail2ban nebo nějaký podobný zázrak?
Nebo nemáte společného providera, který dává zákazníkům IP adresy z privátních rozsahů a veřejné IP na přání řeší NATem? Pak by to znamenalo, že ten „ISP“ má ten NAT špatně nastavený a neví, že když už dělá takovouhle prasárnu, musí vedle DNATu z veřejné IP na privátní nastavit také SNAT, aby se na tu veřejnou IP adresu dostali jeho „klienti“. Zjistil byste to tak, že si pustíte tcpdump na serveru 1, a tam uvidíte příchozí paket pro navázání SSH spojení od vás, a odpověď na vaši privátní adresu. Když si spustíte tcpdump u vás, uvidíte odchozí paket na veřejnou IP Serveru1, a pak přijde odpověď z privátní adresy Serveru1. Váš systém si samozřejmě nemůže spojit, že tyhle dva pakety patří k sobě do jednoho spojení, bude ten příchozí paket považovat za nesmysl a spojení se nenaváže. Řešení je změnit ISP, v nouzi nejvyšší použijte privátní adresu Serveru1.