Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc.
Ha senso per me inserire il file robots.txt?

Alcuni dicono che aiuta nell'indicizzazione nei motori di ricerca, ma nessuno mi ha mai spiegato come e perchè? Voi che dite? Lo inserisco anche se non mi serve? :master: