In base al tipo di chiavi utilizzate ed alla versione di ssh, potrebbe rendersi
necessario creare un file per ssh1 ed un altro per ssh2:
~/.ssh/authorized_keys
~/.ssh/authorized_keys2

Verifica anche la configurazione lato server.

man ssh
man sshd