Sì anche se i files sono criptati sono comunque raggiungibili via web.... ma sono criptati, non sono in chiaro
Per i motori di ricerca ri basta fare un file di testo chiamato robots.txt che va messo nella cartella principale del sito, deve essere raggiungibile quindi da un URL tipo: www.nomesito.it/robots.txt

Il file deve contenere semplicemente questo:

codice:
User-agent: *
Disallow: /public/
Dove "public" è il nome della cartella nella quale metti i files in upload (sarà la tua /cgi-bin/ o che altro.)