sftp dovrebbe risolverti il problema.
Funziona come un FTP ma lavora con il protocollo ssh.

man sftp