Originariamente inviato da flateric
son sicuro che trovo un sacco di materiale cercando robots.txt ma e' talmente vasto il risultato che da che ci si perde per quello parva utile
"son sicuro che trovo un sacco di materiale" = non ho manco provato a cercare...

Come nei motori di ricerca tradizionali devi imparare ad "aguzzare la vista", si, proprio come nella Settimana Enigmistica...

Io prima di risponderti la ricerca l'ho fatta e subito mi è caduto l'occhio su un risultato che puntava a un topic chiamato "robots.txt" vuoi che forse quì puoi trovare la risposta? (si perchè prima di scriverti ho controllato e dicono tutto e di più in quel topic e c'è anche un link a un sito che spiega tutto per filo e per segno)

In definitiva: se ti scrivevo tre righe ci mettevo molto meno ma tu non imparavi come si trovano le informazioni in rete e in particolare in questo forum...

Search is your friend!