Se accederai sempre dalla stessa LAN al server, permetti il traffico in ingresso sulla 22 solo per gli IP della tua LAN e/o per il mac del tuo portatile... Dovrebbe essere sufficiente. Se proprio non vuoi usare il firewall, non saprei che dirti.