robots.txt

[scura]

allora invece di usare

Disallow, posso usare allow?

[E.L.]

Originariamente inviato da scura
allora invece di usare

Disallow, posso usare allow?

No funziona così: gli devi dire "non c'è niente da non prendere" quindi "puoi prendere tutto".

Sono computer, sono stupidi.

[scura]

Non è che potresti farmi un esempio pratico?

[E.L.]

Scura se leggi l'articolo che ti hanno suggerito capisci tutto io mi baso su quello che c'è scritto:

piazzi un file con nome robots.txt nella root e ci scrivi dentro

User-agent: *
Disallow: /

se gli vuoi far prendere tutto.
Tutto qui.

[scura]

quindi non devo specificare le mie pag.

[E.L.]

Devi scrivere solo quello che ho detto se vuoi che ti prenda tutte le pagine e basta.

[scura]

ma devo specificare i nomi degli spider?


oppure * vuol dire tutti gli spider?

[scura]

non ti arrabbiare devo capire bene!

[E.L.]

Originariamente inviato da scura
ma devo specificare i nomi degli spider?


oppure * vuol dire tutti gli spider?

Vuol dire tutti gli spider, ma insisto se leggi l'articolo capisci tutto.

[Low]

User-agent: *
Disallow: /

se gli vuoi far prendere tutto.

No, è il contrario.

La sintassi di cui sopra chiede allo spider di non prelevare alcuna pagina del sito.


Il problema è che molti webmaster seguono un sistema di studio completamente contrario alla logica umana.

La logica umana dovrebbe essere: ho un'esigenza -> cerco uno strumento che mi aiuti a soddisfarla.

Invece la logica di molti webmaster è: non ho la più pallida idea di cosa questo strumento faccia -> vedo se per caso mi serve.

I risultati dell'applicazione di questa seconda logica sono ovviamente aberranti, e producono assurdità del tipo "il robots.txt serve a curare l'acne" o "serve a stabilire un contatto telepatico con Google" o "serve a chiamare gli spider". Il bello/brutto è che ci sono persino articoli o indicazioni sul web che sostengono queste tesi farlocche.


Da tutto questo estemporaneo bla bla bla che cosa se ne ricava? Se ne ricava la regola da applicare con il robots.txt:

Funzione dello strumento: Il file robots.txt serve a chiedere agli spider dei motori di ricerca di NON prelevare pagine di un sito che sarebbe meglio non far apparire nei risultati di ricerca dei motori (pagine temporanee o pagine spazzatura o pagine riservate, ecc.).

Domanda da porsi: Ci sono delle pagine del mio sito che non voglio vadano a finire nei risultati di ricerca?

Possibili decisioni conseguenti la risposta: Sì, ce ne sono (e allora uso il robots.txt). Oppure no, non ce ne sono (e allora non lo uso).


Se fate finta che si tratti di un martello, è ancora più semplice. Se avete un chiodo da piantare, allora vi serve. Se non aveta chiodi da piantare allora non vi serve.

Informazioni sulla sintassi nel sito ufficiale, al paragrafo "Format": http://www.robotstxt.org/wc/norobots.html