A meno che te dia la password ad altre persone non è possibile accedere con il tuo account ftp.
Tuttavia tramite gli htaccess puoi bloccare tutte le richieste ai vari file tranne che se richiamati da script (generico).