C'è chi sostiene che l'istruzione Disallow vuole scritta così:e c'è chi sostiene che vuole scritta così:codice:Disallow: /adminsecondo voi quale è la versione giusta?codice:Disallow: /admin/
C'è chi sostiene che l'istruzione Disallow vuole scritta così:e c'è chi sostiene che vuole scritta così:codice:Disallow: /adminsecondo voi quale è la versione giusta?codice:Disallow: /admin/
“Che le cose siano cosi, non vuol dire che debbano andare così. Solo che quando si tratta di rimboccarsi le maniche e incominciare a cambiare, vi è un prezzo da pagare. Ed è allora che la stragrande maggioranza preferisce lamentarsi più che fare”.
Giovanni Falcone
Semplice: non c'è.
Non esiste uno standard per robots, d'altronde sono gli spider che possono a loro discrezione onorarlo, oppure no.
Comunque, generalmente, con la / si intende la cartella.
Il massimo che conosco per la definizione standard è questa
http://www.w3.org/TR/html4/appendix/...html#h-B.4.1.1
ma ovviamente è uno standard del menga, nel senso che è lasciato al buon cuore dello spider
Master G dice:
https://support.google.com/webmaster..._topic=6061961Per bloccare...
Una directory e i relativi contenuti fai seguire il nome della directory da una barra:
Disallow: /sample-directory/
Disallow: /help disallows both /help.html and /help/index.html, whereas
Disallow: /help/ would disallow /help/index.html but allow /help.html.
per W3
è giusto, ma vale per googleOriginariamente inviata da Vincent.Zeno
E scriverle entrambe le versioni nello stesso robots?
“Che le cose siano cosi, non vuol dire che debbano andare così. Solo che quando si tratta di rimboccarsi le maniche e incominciare a cambiare, vi è un prezzo da pagare. Ed è allora che la stragrande maggioranza preferisce lamentarsi più che fare”.
Giovanni Falcone
Ma cosa ti turba? Se lo spider onora il robot bene, sennò piglia tutto e buonanotte.
Se vuoi "coprire" una cartella io metterei la / finale, poi vedi te.
In primo luogo, a scopo professionale, essere sicuro di quale sia la cosa giusta e sicura per tutti gli spider e in secondo luogo, a scopo privato perchè nel mio sito ho delle cartelle con dati personali e sensibili che non vorrei fossero indicizzati e resi pubblici
“Che le cose siano cosi, non vuol dire che debbano andare così. Solo che quando si tratta di rimboccarsi le maniche e incominciare a cambiare, vi è un prezzo da pagare. Ed è allora che la stragrande maggioranza preferisce lamentarsi più che fare”.
Giovanni Falcone
La risposta è
1) non esiste
2) non esiste
Non stiamo parlando di un htaccess o "simile", nel senso che il server web impedisce l'accesso secondo certe regole.
E' lo spider che, "graziosamente", se trova un file robots lo esamina e non prosegue.
Nulla vieta allo spider di fregarsene bellamente e indicizzare tutto quello che trova.
Siccome lo spider per eccellenza è google, ha pienamente senso fare un robots con il formato di google.
Ma gli altri 1000000000000000000 indicizzatori possono, o meno, conformarsi.
Quindi se hai dati che non vuoi essere indicizzati... non lasciarli liberi, anche solo con un htaccess per utente e password (triste, ma efficace per gli spider)
Non credo ci siano alternative
Il sito http://www.robotstxt.org/robotstxt.html dice che ci vuole la barra finale
“Che le cose siano cosi, non vuol dire che debbano andare così. Solo che quando si tratta di rimboccarsi le maniche e incominciare a cambiare, vi è un prezzo da pagare. Ed è allora che la stragrande maggioranza preferisce lamentarsi più che fare”.
Giovanni Falcone
Permessi di invio
Rispondi quotando