negare accesso ai robots a più cartelle in dinamico

[Alfie]

ciao...

allora... dovrei negare l'accesso ai robots a certe cartelle, mi chiedevo se è possibile farlo con le espressioni regolari, e come.

praticamente... ho certe pagine con indirizzo come

nomesito.it/users/mario/
nomesito.it/users/giulia/
nomesito.it/users/mario/pubblicati/
nomesito.it/users/mario/commentati/
nomesito.it/users/giulia/pubblicati

vorrei che il robots indicizasse fino e non oltre

nomesito.it/users/{nomeutente}/

si puo' fare in un paio di righe, evitando di farlo per ogni singolo utente che si registra?

[rigby76]

Due idee, ma da verificare, che non ho mai fatto prove.

1. Se è questo il caso potresti inibire tutta la cartella users, penso che così inibisca anche le sotto cartelle.

2. Se puoi, potresti fare in modo di rendere il robots.txt dinamico, dirottandolo tramite url rewrite su uno script, oppure inserire il txt fra le estensioni da far parsare all'interprete php (ad esempio). Per questo devi avere il controllo dei file di configurazione del sistema.

Spero di esserti stato utile.

[Alfie]

ovviamente la soluzione migliore e' quella piu' semplice!

ok, inibisco tutta la cartella degli utenti, tanto non ci sono informazioni utili per i motori.

[Evi|A|ivE]

mettere il parametro rel:nofollow ai link verso quelle cartelle potrebbe funzionare lo stesso?
non mi sembra si possano usare le regular per il robots, magari sbaglio

[RAM_WM]

Non ti sbagli:

Note the '*' is a special token, meaning "any other User-agent"; you cannot use wildcard patterns or regular expressions in either User-agent or Disallow lines.

http://www.robotstxt.org/wc/faq.html

Originariamente inviato da Evi|A|ivE
mettere il parametro rel:nofollow ai link verso quelle cartelle potrebbe funzionare lo stesso?

si... ma se qualcuno linkasse da un altro sito le pagine del tipo: nomesito.it/users/mario/commentati/
gli spider le visiterebbero (e indicizzerebbero) comunque... l'unica è ancora lavorare di robots.txt

[Evi|A|ivE]

allora i meta?

[Petro_suse91]

Mettere un NOINDEX su tutte le pagine nella cartella /users/ ?