Ciao a tutti,
ho un piccolo problemino con i bot che continuano a spiderizzare pagine inesistenti a discapito di nuove pagine.
Tempo indietro per un mio sito installai uno script che ricreava la directory Dmoz dove i link erano dinamici del tipo " index.php?c= " ...
Ora ho voluto riprendere in mano il dominio e mettere su un sito, ma mi sono accorto che gli spider continuano a spiderizzare le vecchie pagine e non quelle nuove....
Io ho pensato di utilizzare il file robots.txt in questo modo

codice:
User-agent: Googlebot
Disallow: /*?

User-agent: Slurp
Disallow: /*?
Non so perchè ma continua a seguire quei link vecchi... Un altro sistema per impedire di seguire quei link dinamici inesistenti ?

Mille grazie