puoi farlo se ti colleghi utilizzando le chiavi invece che la password, al limite basta che lanci ssh-agent e aggiungi la passphrase solo una volta per tutte le successive connessioni.

Ti crei il set di chiavi in locale, con ssh-keygen, poi appendi la chiave pubblica al file authorized_keys nella home dell'utente della macchina remota, nella dir .ssh

Ogni volta che ti colleghi l'autenticazione avviene con le chiavi invece che con le password (tra le altre cose molto più sicuro).

L'agent ti serve per tenere memorizzata la passphrase nella macchina "client"

Trovi la spiegazione sulle pagine di manuale
ssh
ssh-add
ssh-keygen