robots.txt

[Lino80]

ciao, nel mio sito ho inserito:

User-agent: *
Disallow: /admin/
Disallow: /database/
Disallow: /app_data/
Disallow: /cgi-bin/
Disallow: /public/

nell head ho inserito:

<meta name="ROBOTS" content="INDEX, ALL, FOLLOW"></meta>

però vedo che su alcuni siti ben posizionati il file robots.txt è così:


User-agent: Googlebot
Disallow: /kassyel/

User-agent: NetMechanic
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

head:

<meta name="robots" content="index,follow">
<meta name="robots" content="all">

Com è meglio? il secondo caso facilita di più lo spider?

[cosencao]

Il secondo si lo facilita di più... comunque parere mio se il sito ha tante pagine con tanti contenuti io il meta tag robots non lo userei perchè l'uso di tale tag può risultare scomodo in quanto si tratta di uno strumento dedicato alla singola pagina web, e non permette di dare agevolmente agli spider indicazioni di scansione su interi gruppi di pagine o intere directory. Poi il robots è per tutti gli spider dei motori di ricerca e non uno in particolare.

[Lino80]

se creo il file robots.txt così è meglio?:

User-agent: *
Disallow: /admin/
Disallow: /database/
Disallow: /app_data/
Disallow: /cgi-bin/
Disallow: /public/

User-agent: Googlebot
Disallow: /kassyel/

User-agent: NetMechanic
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

[Lino80]

up

[Lino80]

up

[Lino80]

uppete

[Lino80]

nessuno?..

[rigby76]

Scusa ma lo sai a cosa serve il robots.txt? E quelle esclusioni le vuoi inserire per un motivo o solo perchè le hai trovate su altri siti?

Te lo chiedo perchè non mi spiego le ragioni della tua domanda.

[Lino80]

certo che lo so
visto che devo escludere delle directory farò come ho sempre fatto