consiglio su file robots

[Lino80]

User-agent: Googlebot
Disallow: /cgi-bin/

User-agent: NetMechanic
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

User-agent: Roverbot
Disallow: /

User-agent: *
Crawl-delay: 5
Disallow: /mdb-database/
Disallow: /tools/


è buono così il file?

grazie

[Lino80]

up

[Lino80]

uppeteeeeeeeeeeeeeeeeeeeee

[weppos]

Se per buono intendi se la sintassi è corretta allora sì.

[Lino80]

si certo.. ma serve escludere questi spider ?

User-agent: Googlebot
Disallow: /cgi-bin/

User-agent: NetMechanic
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

User-agent: Roverbot
Disallow: /

[weppos]

In pratica no.
Se vogliono ignorare il file lo ignorano.