PDA

Visualizza la versione completa : robots.txt


utopie
06-02-2007, 23:17
Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc.
Ha senso per me inserire il file robots.txt?

Alcuni dicono che aiuta nell'indicizzazione nei motori di ricerca, ma nessuno mi ha mai spiegato come e perchè? Voi che dite? Lo inserisco anche se non mi serve? :master:

cicciput
06-02-2007, 23:34
Originariamente inviato da utopie
Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc.
Ha senso per me inserire il file robots.txt?

Alcuni dicono che aiuta nell'indicizzazione nei motori di ricerca, ma nessuno mi ha mai spiegato come e perchè? Voi che dite? Lo inserisco anche se non mi serve? :master:

Un giorno un veterano di questo forum scrisse qualcosa di simile:
"il robots.txt è il primo file che chiede il bot quando visita il tuo sito, non è carino dargli subito un 2 di picche, considera quel file come uno zerbino con scritto sopra Welcome, una forma di 'cortesia'..."

Mi viene la lacrimuccia tanto tempo è passato... :sbav:


:D

utopie
06-02-2007, 23:43
Originariamente inviato da cicciput
Un giorno un veterano di questo forum scrisse qualcosa di simile:
"il robots.txt è il primo file che chiede il bot quando visita il tuo sito, non è carino dargli subito un 2 di picche, considera quel file come uno zerbino con scritto sopra Welcome, una forma di 'cortesia'..."

Mi viene la lacrimuccia tanto tempo è passato... :sbav:


:D

Non è che questa sia una spiegazione molto tecnica. se vogliamo parlare di cortesia mi pare più carino non fare trovare al bot nessun impedimento e dirgli "welcome, prendi quello che vuoi, non hai limitazioni!".
:D

In ogni caso dato che non mi costa nulla il robots lo metto. Per fare in modo che non ci sia nessuna disabilitazione va bene una cosa così? :

# /robots.txt file for http://www.utopie.org/
# mail webmaster@utopie.org for constructive criticism

User-agent: utopie
Disallow:

utopie
07-02-2007, 12:40
dunque l'esempio che faccio sopra va bene? Non mi è chiaro cosa mettere (o non mettere) dopo "User-agent"... ve bene anche un nome di fantasia? :master:
per favore fattemelo sapere così lo scrivo sul blocco note e lo metto on line.
:ciauz:

cicciput
07-02-2007, 21:11
Originariamente inviato da utopie
Non è che questa sia una spiegazione molto tecnica

Chi ha orecchie per intendere intende! Chi non le ha...

faresti meglio a farti una ricerca e perdere un quarto d'ora della tua vita a capire veramente come funziona il robots.txt...

Per intenderci lo user agent è quello del bot che deve seguire le istruzioni a seguire (googlebot è quello di google ad esempio)...

Di più non ti dico perchè non vorrei non essere abbastanza tecnico per le tue esigenze e son sicuro che saprai trovare una guida esauriente e la leggerai con profitto...
:ciauz:

utopie
07-02-2007, 21:13
Originariamente inviato da cicciput
Chi ha orecchie per intendere intende! Chi non le ha...

faresti meglio a farti una ricerca e perdere un quarto d'ora della tua vita a capire veramente come funziona il robots.txt...

Per intenderci lo user agent è quello del bot che deve seguire le istruzioni a seguire (googlebot è quello di google ad esempio)...

Di più non ti dico perchè non vorrei non essere abbastanza tecnico per le tue esigenze e son sicuro che saprai trovare una guida esauriente e la leggerai con profitto...
:ciauz:

complimenti per la risposta! Veramente utile ed esaustiva.... :madai!?:

cicciput
07-02-2007, 21:15
Originariamente inviato da utopie
complimenti per la risposta! Veramente utile ed esaustiva.... :madai!?:

Aderisco alla campagna promozionale "basta con la pappa pronta" (soprattutto a chi la esige)...

bea_bea
08-02-2007, 11:44
ciao utopie lascia stare cicciput (deve avere il mestruo...). Ti spiego un pò io.

Tramite il file robots.txt è possibile indicare quali sezioni del sito è possibile indicizzare, o restringere il campo di azione di determinati spider. Tutto questo va gestito tramite il file robots.txt da porre nella directory principale del dominio. (www.dominio.com/robots.txt). Il file in questione è composto da alcune direttive che gli spider comprendono come istruzioni da eseguire per poter leggere o meno delle sezioni del sito. User-agent indica lo spider che deve prestare attenzione all’istruzione seguente e tramite il carattere * indica che la direttiva seguente è valida per tutti gli spider. Disallow deve essere preceduta da User-agent e indica quali cartelle non devono essere indicizzate, nel caso si lascia in bianco si da l’accesso a tutto il sito. Ecco alcuni esempi esplicativi.
Escludere tutti i file presenti nel domnio a tutti i robots
User-agent: *
Disallow: /
Consentire l’accesso a tutti gli spider
User-agent: *
Disallow:
(questa definizione equivale a non inserire il file robots.txt)
Escludere tutti i robots da determinate cartelle
User-agent: *
Disallow: /cgi-bin/
Disallow: /secret/
Escludere un determinato robot dalla lettura di alcune cartelle
User-agent: Scooter
Disallow: /cgi-bin/
Disallow: /secret/
Se non si ha l’accesso in scrittura sul server è possibile pilotare l’accesso alle pagine trmaite il meta tag ROBOTS con la seguente sintassi:
<meta name=’robots’ conten=’noindex,nofollow’>
http://www.robotstxt.org/wc/robots.html

:ciauz:

utopie
08-02-2007, 12:17
grazie! sei un angelo.
:smack:

cicciput
08-02-2007, 20:40
Originariamente inviato da bea_bea
ciao utopie lascia stare cicciput (deve avere il mestruo...).


Dolce stellina non ho il mestruo volevo solo far notare che lo stesso giorno che è stato aperto questo topic, un altro topic sempre con il titolo robots.txt campeggiava nella prima pagina del forum (nel caso non ti fidassi... (http://forum.html.it/forum/search.php?action=showresults&searchid=926281&sortby=&sortorder=)) , e con le stesse indcazioni che tu tanto gentilmente hai dispensato.

Ora, non dico di fare ricerche nel forum usando l'apposito form come ho fatto io in 1 minuto (non sia mai... MAI! per parafrasare una pubblicità con Christian De Sica...) ma almeno scorrere con gli occhi i 3d del giorno stesso...

Comunque ora che ci sei tu non ci saranno più problemi con i topic fotocopia, tanto ci pensei tu d'ora in poi vero?
:D

Grazie del prezioso aiuto, quando utopie vorrà sapere cos'è il Page Rank ti prego di essere esauriente! :sbav:

:ciauz:

Loading