Robots.txt

[raffaeled3]

Ciao a tutti, secodo voi è fatto bene questo file robots.txt
User-agent: *
Disallow: http://nomesito1"/"
Disallow: http://www.sito2"/"

i robots non seguiranno i link da me inserito in Disallow?

Ciao e grazie
Segnalasiti

[rigby76]

Il robots.txt serve per non far accedere i bot alle risorse del server. La sintassi che proponi tu non è standard, non l'ho mai vista: da dove l'hai presa?

P.S.: Se vuoi inserire una firma dopo i tuoi post, c'è un apposito strumento nel profilo utente sul forum.

[raffaeled3]

Ciao, la mia era una domande se facendo cosi funzioni.
La parte evidenziata in rosso dice al robots di non seguire quella pagina
pensavo si poteva applicare anche ad alcuni link esterni.
lo trovata QUI

Esempi chiarificatrici di vari file robot

# robots.txt scritto da simone per http://www.esempio.com/

User-agent: *
Disallow: /admin/login/ # Questo è uno spazio virtuale infinito per URL
Disallow: /tmp/ # cartella temporanea
Disallow: /quelchetipare.html
Sitemap: http://www.miosito.com/sitemap.xml

[rigby76]

Questo file robots specifica che nessun robot può visitare gli URL che iniziano per “/admin/login/” o “/tmp/” o la pagina /quelchetipare.html. Indica inoltre la location della sitemap.

Questo è quello che in effetti ottieni con le regole che hai postato come esempio.

Originariamente inviato da raffaeled3
i robots non seguiranno i link da me inserito in Disallow?

Questa tua frase mi ha tratto in inganno: tu intendevi chiedere se i robot possono accedere alle risorse poste in Disallow.

Seguire i link per un robot significa invece accedere ad un pagina, verificare nel contenuto i link presenti (tag a dell'HTML) e inserire le url rilevate nella coda delle pagine da scansione. Bloccare un link si fa in un altro modo, non tramite il robots.txt

Detto questo, il robots vale solo per il sito stesso, e non per siti esterni, quindi nelle regole Disallow puoi inserire solo file o cartelle, come negli esempi che hai postato. Le risorse poste in disallow non verranno scansionate dai robot che seguono il robots.txt.

[raffaeled3]

Grazie per la tua risposta.

Quindi per non far seguire un link esterno si puo usare solo
<a rel="nofollow" href="http://www.nomesito ecc...?

[Debin Jack]

The location of robots.txt is very important. It must be in the main directory because otherwise user agents (search engines) will not be able to find it – they do not search the whole site for a file named robots.txt.