robots.txt

[gio-mx]

Salve, una domanda: ma se io metto un mio link nel robots.txt , significa che non sarà indicizzato, vero?
Ma se un altro sito mette lo stesso link, viene indicizzato o no?
Cioè come funziona...ogni volta che google trova un link, va a vedere se nel robots.txt c'è o no e poi lo mette? O forse vede il robots.txt solo quando spiderizza il sito?
In questo caso se io non volgio far indicizzare il link e un altro me lo mette, che si fa???
Grazie.

[cognolatom]

il file robots.txt esclude alcuni o tutti gli user agent da directories o files del sito.

esempio esclude tutti gli user agent dall'intera directory di cipeo e dalla directory ciapeo
User-agent: *
Disallow: /cipeo/
Disallow: /ciapeo/

Il file robots viene preso automaticamente ed appartiene al dominio quindi esclude solamente files e directory appartenenti al dominio.

Nell'esempio abiamo escluso tutti i files appartenenti alle directory:

www.miosito.org/cipeo e www.miosito.org/ciapeo il robots.txt andrà inserito nella root di miosito.org

[gio-mx]

Grazie, ok...
Supponiamo però il caso che google mi abbia indicizzato l'url:

www.miodominio.com?provenienza=9 (che ho dato a un sito per vedere la provenienza) e anche l'url:

www.miodominio.com

Ora, non mi piace per la duplicazione dei contenuti...allora pensavo di inserire nel robots tutte le pagine con la variabile provenienza entro un determinato range che io do...
Inoltre, ci volevo pure mettere una landing page per i prodotti che do nei programmi di affiliazione, che dici?

Dovrebbe essere giusto, no?
Quindi, se anche un sito mi mette un link del tipo di cui sopra, google non lo indicizza, giusto? anche se il link (che mi appartiene) si trova su un altro sito?

Nella pratica come funziona? prima di indicizzare un link, vede nel suo archivio se è stato escluso???

Grazie!

[cognolatom]

il link www.miodominio.com?provenienza=9 mi sembra improbabile...
mi aspetto un link:
www.miodominio.com/prova/prova.php?provenienza=9
in questo caso potresti inserire prova nel robots.txt

ma così facendo non perdi un sacco di backlinks?

[grin]

C'è un sacco di tecniche di tracking, mi chiedo come mai usi tuttora i variabili nell'url?
Cerca su Google italiano la keyphrase tracking affiliazione troverai molti script e consigli utili sull'argomento.

[gio-mx]

Ciao ragazzi, ok...però una cosa non ho capito:

se metto nel robots.txt:

www.dominio.ext.php?var=9

mi leva l'url in questione oppure mi leva pure:

www.dominio.ext

Secondo google sono due url uguali o diversi???

Grazie.

[cognolatom]

Secondo me google li vede come 2 url diversi...