Facendo il comando site del sito di un mio cliente vado alla fine della lista e vado sul link per visualizzare i risultati omessi. Mi compaiono una grande quantità di url indicizzate ma che non hanno il link "cache".
Tra l'altro mi sono accorto che sono tutte url bloccate dal robots.
Ma se sono bloccate dal robots.txt com'è che si sono indicizzate? E poi perché non hanno la cache?
Il Disallow nel robots.txt impedisce agli spider di accedere alla pagina (ecco perché non c'è la cache), ma non di indicizzarne l'URL, il quale può essere presentato nelle SERP privo delle informazioni presenti in pagina.
Il mio cliente ha bloccato un'area del sito (una cartella di categoria) in quanto ci finiscono solo pagine di prodotti già presenti in altre categorie. Ha una categoria che è una sorta di "tutte le categorie" e perciò qui duplicherebbe i contenuti di tutti i prodotti già presenti in altre pagine. Chi lo seguiva prima di me ha preferito bloccare dal robots piuttosto che spiegare al cliente il problema ed eliminare quella categoria che fa solo confusione...
Perciò da quanto mi dici è indicizzato solo l'url e dunque non i contenuti ed il problema duplicazione contenuti è evitato, giusto?
E' così, essendo vietati dal robots.txt i contenuti della categoria "tutte le categorie" non vengono spiderizzati, quindi non incidono nel processo di individuazione dei duplicati.Originariamente inviato da Virgilio_x
Perciò da quanto mi dici è indicizzato solo l'url e dunque non i contenuti ed il problema duplicazione contenuti è evitato, giusto?
Sul resto preferisco non pronunciarmi.
Permessi di invio
Rispondi quotando