sudo ve výchozím nastavení nemění $HOME, takže SSH nenajde ten klíč. Použijte sudo -iu user ssh ….
Nicméně pokud to chcete dělat často, bylo by rozumnější rovnou přidat klíč uživatele, pod kterým spouštíte to sudo, do autorizovaných klíčů na straně serveru, takže se budete moct přihlásit rovnou bez sudo.