Essere sicuri al 100% di non essere indicizzato

[Martin_fly]

Ciao a tutti,

devo creare un sito mirror solo testuale di un mio sito.
Teoricamente tale mirror si dovrebbe posizionare meglio del sito principale (che è quello che deve comparire sui motori),
quindi vorrei essere certo al 1000% che il mirror non venga indicizzato.

Come posso procedere????

[Logan99]

Usa il file robots.txt e nega accesso a tutto e tutti

[Martin_fly]

in pratica devo creare un file robot.txt con scritto???
la cartella che non devo fare indicizzare si chiama cartella1


ma questo mi assicura al 100% che i motori non indicizzano quelle pagine???

e il pr passa lo stesso???


ciao

[Logan99]

nel file metti:

User-agent: *
Disallow: /cartella1/

Il PR penso che venga passato, proprio oggi su www.webmasterworld.com se ne parlava, prova a vedere qui:
http://www.webmasterworld.com/forum3/18282.htm

[Martin_fly]

Grazie mille logan;
il file si chima robots.txt e va nella root, giusto???

--------------------

Qualcuno ha conferme che le pagine della cartella1 disabilitata con il robots possano passare pr?????

[bo10646]

Originariamente inviato da Martin_fly quindi vorrei essere certo al 1000% che il mirror non venga indicizzato

Usare robots.txt e' utile ma non ti garantisce la certezza .
Non tutti gli spider infatti seguono le direttive di quel file. Tra questi anche Google, purtroppo ;-(

[weppos]

Originariamente inviato da bo10646
Usare robots.txt e' utile ma non ti garantisce la certezza .
Non tutti gli spider infatti seguono le direttive di quel file. Tra questi anche Google, purtroppo ;-(

Sei proprio sicuro?
http://www.google.it/intl/it/webmast....html#norobots

[bo10646]

Originariamente inviato da weppos
Sei proprio sicuro?
http://www.google.it/intl/it/webmast....html#norobots

Sì, per esperienza personale.

Google ha nel suo db alcuni file disabilitati da robots.txt. Per quanto mi riguarda sono file inclusi via JScript. Il JScript e' posizionato in una cartella disabilitata da robots.txt.
Nonostante questo G li riporta nel suo Db.

Per quanto mi riguarda robots.txt non garantisce al 100% l'esclusione dal crawling cosi' come il JScript.

[weppos]

Hai letto il link postato?
Potrebbe essere che il tuo file robots.txt non sia stato scritto correttamente. :quipy:

[Low]

Per chi usa Apache:

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.*$ [NC]
RewriteRule nomepagina\.html$ - [F,L]

Questo spedisce un codice 403 (accesso proibito) a Googlebot (per essere precisi: a tutti i client che si presentano con un user-agent che inizia per "Googlebot") quando lo spider tenta di prelevare "nomepagina.html".

Più sicuro di questo c'è solo il riconoscimento dello spider via IP, da fare sempre con le direttive del web server o tramite cloaking.