Salve,
volevo sapere se è possibile impedire ai web crawler di scaricare i file (.pdf .avi .zip etc) che risiedono in una cartella specifica.

Grazie.