Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc.
Ha senso per me inserire il file robots.txt?
Alcuni dicono che aiuta nell'indicizzazione nei motori di ricerca, ma nessuno mi ha mai spiegato come e perchè? Voi che dite? Lo inserisco anche se non mi serve? :master:
Un giorno un veterano di questo forum scrisse qualcosa di simile:Originariamente inviato da utopie
Non mi interessa disabilitare l'indicizzazione di determinate cartelle o file da parte degli spider e ho ripulito il sito da pagine di test, pagine in costruzione, pagine "brutte", etc.
Ha senso per me inserire il file robots.txt?
Alcuni dicono che aiuta nell'indicizzazione nei motori di ricerca, ma nessuno mi ha mai spiegato come e perchè? Voi che dite? Lo inserisco anche se non mi serve? :master:
"il robots.txt è il primo file che chiede il bot quando visita il tuo sito, non è carino dargli subito un 2 di picche, considera quel file come uno zerbino con scritto sopra Welcome, una forma di 'cortesia'..."
Mi viene la lacrimuccia tanto tempo è passato...
Non è che questa sia una spiegazione molto tecnica. se vogliamo parlare di cortesia mi pare più carino non fare trovare al bot nessun impedimento e dirgli "welcome, prendi quello che vuoi, non hai limitazioni!".Originariamente inviato da cicciput
Un giorno un veterano di questo forum scrisse qualcosa di simile:
"il robots.txt è il primo file che chiede il bot quando visita il tuo sito, non è carino dargli subito un 2 di picche, considera quel file come uno zerbino con scritto sopra Welcome, una forma di 'cortesia'..."
Mi viene la lacrimuccia tanto tempo è passato...
In ogni caso dato che non mi costa nulla il robots lo metto. Per fare in modo che non ci sia nessuna disabilitazione va bene una cosa così? :
# /robots.txt file for http://www.utopie.org/
# mail webmaster@utopie.org for constructive criticism
User-agent: utopie
Disallow:
dunque l'esempio che faccio sopra va bene? Non mi è chiaro cosa mettere (o non mettere) dopo "User-agent"... ve bene anche un nome di fantasia? :master:
per favore fattemelo sapere così lo scrivo sul blocco note e lo metto on line.
Chi ha orecchie per intendere intende! Chi non le ha...Originariamente inviato da utopie
Non è che questa sia una spiegazione molto tecnica
faresti meglio a farti una ricerca e perdere un quarto d'ora della tua vita a capire veramente come funziona il robots.txt...
Per intenderci lo user agent è quello del bot che deve seguire le istruzioni a seguire (googlebot è quello di google ad esempio)...
Di più non ti dico perchè non vorrei non essere abbastanza tecnico per le tue esigenze e son sicuro che saprai trovare una guida esauriente e la leggerai con profitto...
complimenti per la risposta! Veramente utile ed esaustiva....Originariamente inviato da cicciput
Chi ha orecchie per intendere intende! Chi non le ha...
faresti meglio a farti una ricerca e perdere un quarto d'ora della tua vita a capire veramente come funziona il robots.txt...
Per intenderci lo user agent è quello del bot che deve seguire le istruzioni a seguire (googlebot è quello di google ad esempio)...
Di più non ti dico perchè non vorrei non essere abbastanza tecnico per le tue esigenze e son sicuro che saprai trovare una guida esauriente e la leggerai con profitto...
Aderisco alla campagna promozionale "basta con la pappa pronta" (soprattutto a chi la esige)...Originariamente inviato da utopie
complimenti per la risposta! Veramente utile ed esaustiva....
ciao utopie lascia stare cicciput (deve avere il mestruo...). Ti spiego un pò io.
Tramite il file robots.txt è possibile indicare quali sezioni del sito è possibile indicizzare, o restringere il campo di azione di determinati spider. Tutto questo va gestito tramite il file robots.txt da porre nella directory principale del dominio. (www.dominio.com/robots.txt). Il file in questione è composto da alcune direttive che gli spider comprendono come istruzioni da eseguire per poter leggere o meno delle sezioni del sito. User-agent indica lo spider che deve prestare attenzione all’istruzione seguente e tramite il carattere * indica che la direttiva seguente è valida per tutti gli spider. Disallow deve essere preceduta da User-agent e indica quali cartelle non devono essere indicizzate, nel caso si lascia in bianco si da l’accesso a tutto il sito. Ecco alcuni esempi esplicativi.
Escludere tutti i file presenti nel domnio a tutti i robots
User-agent: *
Disallow: /
Consentire l’accesso a tutti gli spider
User-agent: *
Disallow:
(questa definizione equivale a non inserire il file robots.txt)
Escludere tutti i robots da determinate cartelle
User-agent: *
Disallow: /cgi-bin/
Disallow: /secret/
Escludere un determinato robot dalla lettura di alcune cartelle
User-agent: Scooter
Disallow: /cgi-bin/
Disallow: /secret/
Se non si ha l’accesso in scrittura sul server è possibile pilotare l’accesso alle pagine trmaite il meta tag ROBOTS con la seguente sintassi:
<meta name=’robots’ conten=’noindex,nofollow’>
http://www.robotstxt.org/wc/robots.html
grazie! sei un angelo.
Dolce stellina non ho il mestruo volevo solo far notare che lo stesso giorno che è stato aperto questo topic, un altro topic sempre con il titolo robots.txt campeggiava nella prima pagina del forum (nel caso non ti fidassi...) , e con le stesse indcazioni che tu tanto gentilmente hai dispensato.Originariamente inviato da bea_bea
ciao utopie lascia stare cicciput (deve avere il mestruo...).
Ora, non dico di fare ricerche nel forum usando l'apposito form come ho fatto io in 1 minuto (non sia mai... MAI! per parafrasare una pubblicità con Christian De Sica...) ma almeno scorrere con gli occhi i 3d del giorno stesso...
Comunque ora che ci sei tu non ci saranno più problemi con i topic fotocopia, tanto ci pensei tu d'ora in poi vero?
Grazie del prezioso aiuto, quando utopie vorrà sapere cos'è il Page Rank ti prego di essere esauriente!
Permessi di invio
Rispondi quotando