Ho creato un file robot.txt automaticamente tramite un servizio online (Il codice è qui sotto)
Ma non sono sicuro della sintassi... io voglio che tutti gli spider indicizzino un sito tranne le tre cartelle (public, mdb-database e folder3).
Il codice qui sotto fa quello che io desidero?


vorrei aggiungere il file riservato.asp (da non indicizzare)... come scrivo la sintassi?



# All robots will spider the domain
User-agent: *
Disallow:

# Disallow None (Default)
User-agent: None (Default)
Disallow: /

# Disallow None (Default)
User-agent: None (Default)
Disallow: /

# Disallow directory /public/
User-agent: *
Disallow: /public/

# Disallow directory /mdb-database/
User-agent: *
Disallow: /mdb-database/

# Disallow directory /folder3/
User-agent: *
Disallow: /folder3/