Předně, na SSH se nastavuje takový typ šifry, aby vyhovoval bezpečnosti, ale zároveň ho konkrétní hardware stíhal. Na terminálový přístup se to neřeší, ale pokud potřebujete přenosy, už se to projeví.
Pak může CPU zatěžovat i komprese, pokud ji máte zapnutou.
V lokální síti, pokud šifrování opravdu nepotřebujete, zkuste zvolit něco jiného než SSH. Nezapomeňte jen na to, že oslabením šifrování nebo nešifrováním (ne)chráníte i přihašování, nejen samotná data.