spiders.txt....vantaggi ,critiche,esperienze.....

[fradefra]

Io credo che Key intendesse dire che se Google vede che c'è uno spiders.txt col suo nome dentro, potrebbe pensare che si sta tentando di rendergli la vita facile e premiare per questo.
Non si tratta di funzionalità, ma di dimostrazione d'intento.

[grin]

[supersaibal]Originariamente inviato da fradefra
Io credo che Key intendesse dire che se Google vede che c'è uno spiders.txt col suo nome dentro, potrebbe pensare che si sta tentando di rendergli la vita facile e premiare per questo.
Non si tratta di funzionalità, ma di dimostrazione d'intento. [/supersaibal]

:maLOL:

Domani mettero il file googlebot_tvb.txt

[fradefra]

[supersaibal]Originariamente inviato da grin
:maLOL:

Domani mettero il file googlebot_tvb.txt

[/supersaibal]

Io l'ho già messo da un pezzo

[MarcoTuscany]

Per quanto riguarda la lista di esempio di Key.....
sono tutti nomi di programmi che servono per copiare siti o parte di essi o che seguono e copiano i link dei siti vero key? Ci sono anche programmi che servono a prelevare gli indirizzi e-mail.

Non mi pare ci siano spider di Motori di ricerca se non erro...

Mi confermate?


Poi nel caso si volesse usare la lista completa di key, è bene lasciare anche la formula:

User-agent: *
Disallow:

O è a quel punto inutile metterla?

[agoago]

Key a mio avviso ha stra ragione.

Da tempo continua a martellare con questa storia dello spider. Se facilitiamo lo spider siamo avvantaggiati. Se indirizziamo lo spider siamo avvantaggiati.

I motori vivono di spider e considerarli di sfuggita o dimenticarne il valore, il potenziale dello spider sarebbe sciocco. Ho letto e leggo i forum di mezzo mondo ma in effetti nessuno (che io conosca) martella su questi aspetti come lui.

L'idea comune e': Limitiamo l'accesso alle pagine inutili ai motori e risparmieremo banda.

L'idea di Key invece fa, a mio avviso, un passo avanti: Limitiamo ed indirizziamo l'accesso ai motori e saremmo premiati perche' LORO ottimizzano risorse (e pertanto ci premieranno), non noi.

Da parte mia una sola aggiunta, che succede se non blocco uno spider su un classico prodotto.php o cerca.pl e via dicendo?
Succede che qualche competitor inizia ad aggiungere ai vari add dei motori migliaia di mie pagine tipo prodotto.php?hd1, prodotto.php?cpu12, prodotto.php?mainboard23, ecc ecc fin tanto che i motori mi bannano perche' cercheranno di spiderizzarmi migliaia di pagine che come risposta mi daranno tutte un: "prodotto non trovato" o cose simili.

Gli spider si rompono le balle a spiderizzare migliaia di pagine "esistenti" (per loro) tutte uguali e pertanto non bisogna permetterglielo.

Non perche' risparmiamo banda noi, ma perche' come dice Key risparmiano risorse loro.

[diego.tinelli]

si ma bisogna cercare di capire bene altrimenti si fanno le cosa a caso senza logica:
esempio io ho siti con la classica ricerca in asp solo sui prodotti presenti e alcuni pordotti me li prende poi non va in profondità

poi ho provato un sito con la trasformazione del link in htm e li le prende tutti.

Secondo me invece è importante che veda i prodotti perchè se la scheda prodotto e ben creata testo title ecc... è positivo o no.

invece se si potrebbe escludere tutto il sito e farlo entrare in una cartella apposita, con il sito solo per lo spider questo sarebbe positivo per i siti in flash o quei siti che non riesci a modificare graficamente.

Per il carello ok escludi la cartella che contienete le pagine per l'acquisto e sei a posto a sto punto basta il robots.txt

secondo me prima si capisce bene cosa fa il spider.txt e poi si prosegue.

[key]

@marco SI in maggior parte xGriM

[diego.tinelli]

allora facciamo così faccio lo spider.txt (intanto non ho capito ben la differenza con il robots.txt)

escludo delle pagine allo spider tipo le prodotto.asp


a questo punto bisognerebbe sapere se google una volta visitato il sito tiene in memoria il fatto di escludere le pagine prodotto.asp

perchè io concorrente segnalo 20 pagine a google tipo:
prodotto.asp?variabile=nome_a_caso

e lui se si ricorda che io avevo escluso la prodotto.asp non legge le segnalazioni fatte dal concorrente

sarebbe questo il senso (oltre al senso di limitargli il lavoro?)

Bisogna capire però se google tieni in memoria che il sito x ha escluso la pagina Y

[key]

carrello, gif,news,nweletter ecc ecludi ...dagli in pasto solo html, o testo scritto
con il robotex e lo stesso

[agoago]

Ho un vuoto di memoria totale. Ma se blocco una dir o delle pagine ad un motore tramite robots.txt il motore me le spiderizza lo stesso (fregandosene del robots) ma poi non le considera, al fine della catalogazione, o non le legge proprio?

Lo chiedo perche' c'e' una forte differenza tra le due situazioni.

Nel primo caso saprebbe comunque che un sito ha per esempio 5.000 pagine ma il wm "forza" o privilegia solo alcune di esse, nel secondo caso il motore verrebbe a conoscenza unicamente delle pagine "preferite" dal wm. Cambia parecchio.