Inserendo la seguente stringa all'interno di un file robots.txt allo scopo di disabilitare i contenuti di un'area specifica del sito, si può in qualche modo compromettere l'indicizzazione delle pagine di tale sito?
User-agent: *
Disallow: /admin/
Grazie in anticipo!
In linea generale no.
Con le 2 righe che hai scritto blocchi tutti gli spider all'accesso alla cartella admin ed a TUTTE le eventuali sottocartelle[supersaibal]Originariamente inviato da _nebel_
Inserendo la seguente stringa all'interno di un file robots.txt allo scopo di disabilitare i contenuti di un'area specifica del sito, si può in qualche modo compromettere l'indicizzazione delle pagine di tale sito?
User-agent: *
Disallow: /admin/
Grazie in anticipo! [/supersaibal]
Tutte le altre cartelle superiori a admin o di un qualsiasi altro ramo non subiranno nessuna variazione dall'accesso degli spider
Per me Google se ne frega dei robots.
"Only the braves arrive where the angels cannot fly"
Posizionamento nei motori di ricerca
Promozione Italia
Web Agency
http://forum.html.it/forum/showthrea...ghlight=robots[supersaibal]Originariamente inviato da MarcoTuscany
Per me Google se ne frega dei robots.
Ah......vero
Anche nei dieci comandamenti c'è scritto non rubare, non uccidere, non desiderare la donna d'altri......
Nelle autostrade c'è il limite di velocità.....
Il fatto che GG lo cerchi non vuol dire che lo rispetti.
"Only the braves arrive where the angels cannot fly"
Posizionamento nei motori di ricerca
Promozione Italia
Web Agency
Sia il file robots.txt che il meta tag robots non sono delle imposizioni per i motori ma delle richieste. Effettivamente bisogna sperare nel "buon senso" dello spider.[supersaibal]Originariamente inviato da MarcoTuscany
Ah......vero
Anche nei dieci comandamenti c'è scritto non rubare, non uccidere, non desiderare la donna d'altri......
Nelle autostrade c'è il limite di velocità.....
Il fatto che GG lo cerchi non vuol dire che lo rispetti.
Però se consideriamo che i motori di ricerca hanno anche troppe cose da indicizzare e che a volte non indicizzano nemmeno quello che ci interessa, figuriamoci se si vanno a rompere le b.. con quello che non gli chiediamo di indicizzare....
Comunque effettivamente non si può sapere se lo spider rispetterà la richiesta.
Dipende dallo spider. Ma sicuramente se preferissi evitare che alcune pagine vengano indicizzate, puoi sempre aggiungere un "disallow" nel file, che male non fa...
_______________
DaviDs McFlower
http://xoomer.virgilio.it/basta-psichiatria/
..vi posso assicurare ..ho i log ....che lo spider tiene conto al 1000x1000 del file robot.txt
Permessi di invio
Rispondi quotando