PDA

Visualizza la versione completa : Robots.txt molto strano


alfa038
13-10-2011, 13:23
Analizzando un sito web, per caso mi sono imbattuto sul file robots.txt impostato da chi l'ha progettato. Le istruzioni sono le seguenti:

User-agent: GoogleBot
Disallow: /
Disallow: /cont/*
Allow: /cont/*Indir*
Allow: /cont/*Categ*

User-agent: *
Disallow: /


Ho verificato tramite il comando "site:" e su Google sembra che le pagine siano correttamente indicizzate, mentre se provo su Bing mi restituisce, come risultato, solo la Home Page...

Mi stavo chiedendo: ma questa impostazione non è sbagliata?

Le istruzioni:

User-agent: *
Disallow: /

non impediscono l'indizzazione di tutte le pagine?

Cosa ne pensate?

Grazie

YouON
13-10-2011, 16:42
eh però dipende se il robots.txt lo ha generato magari dopo che il sito è già stato indicizzato, magari per riparare a qualche casino... possibile?

mondiali_2010
13-10-2011, 18:42
E' fatto male quel robots.
Come hai detto anche tu basta aver disabilitato tutto con disallow / .
Resto dei comandi sono inutili.
Come dice youon è probabile che google lo abbia indicizzato prima della creazione del robots. Analizza la la data delle cache delle pagine su Google e la data di creazione del robots per verificare questo.

Loading