Aiuto su robots.txt

[Tintin74]

Ciao a tutti in seguito ad un deep crawling veramente efficace sul mio sito (774 pagine indicizzate) Google ha indicizzato anche delle pagine che gli avevo vietato tramite il robots.txt

Il robot recita piu' o meno cosi':

User-agent: *

Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /file.php


Diciamo che Google non ha indicizzato pagine all'interno delle directory specificate ma ha indicizzato "file.php" .

Ho sbagliato la sintassi? In caso di file singoli da far evitare al motore, la sintassi cambia?

Ringrazio chiunque mi sappia aiutare.

Grazie e ciao

[homeworker]

Il file "file.php" è nella root del server?
Per essere sicuro che non ti indicizzi il "file.php" inserisci

Disallow: /file

cosi non indicizzerà ne cartelle ne documenti che iniziano con file .
Ad es. filenuovo.htm - filevecchio.php - file.php

Puoi anche usare il tag

<META NAME="ROBOTS" CONTENT="NOINDEX">

all'interno della pagina da escludere.

Comunque da quello che ho visto per mia esperienza con Google i file esclusi vengono letti ma non restituiti nelle ricerche finali. Credo che comunque Google e gli altri motori un'occhiata a quello che nascondiamo la diano!

Ciao

[Tintin74]

Grazie homeworker,

ho capito il tuo messaggio,sei sto molto utile.Provero' a fare come mi hai detto e vedremo un po' come si comporto Mister G

In realta' le pagine che non volevo fossero indicizzate le ho trovate tramite "allinurl:" ma non ho compiuto una vera e propria ricerca per keywords.

Grazie ciao

Tintin

[homeworker]

Sempre per esperienza diretta gli url letti ma non rispondenti a ricerche dovrebbero essere restituiti da Google con solo l'url, senza title nè description anche se presenti nelle pagine.

Fammi risapere se la valutazione è corretta... Ciao

[Tintin74]

Esatto e' proprio cosi'.