Chyba bude pravděpodobně v tom konfiguráku, takže pokud ho jsem nemůžeš dát, je docela těžké ti nějak smysluplně poradit.
Přikládám tady kousek svého sshd configuráku
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile %h/.ssh/authorized_keys
Hlavně se podívej na ten řádek o souborech s klíči, jestli to máš nějak ekvivalentně.
Pak je samožrějmě možné, že máš v tom konfiguráku nějakou "prasečinu" navíc, s tím ti nepomůžu.