seguendo l'invito di giorgiotave, vorrei aprire una discussione sull'utilità del robots.txt
ho avuto modo di notare che i vari robot dei motori sembrano ignorare le istruzioni dei file robots.txt
ho anche notato che googlebot arriva dallo stesso IP di mediapartner il robot di adsense.
questo comportamento mi ha un po sconcertato e vorrei sapere da voi cosa ne pensate.
Bene.
Ho notato uno strano comportamento dello spider di google.
Nonostante il robots mi ha indicizzato delle pagine.
Volevo fare una serie di pagine per non farle prendere da google, ma non ha rispettato il robots.
Sarà stato un errore, sta di fatto che ho tolto il robots e via.
Per fortuna era solo un test
Giorgio
Attenzione, le pagine sono state indicizzate, spiderizzate o lette?
spiderizate sicuramente.
indicizzate non so?
Premetto che in questi mesi mi occupo di altre cose, pertanto vado e scrivo a pelle senza la sicurezza, la "forza" che si ha quando puoi basarti direttamente su sperimentazioni serie ed esperienze vissute in prima persona. Detto cio' chi ora legge si chiedera'... ma allora perche' diavolo questo pirlotto scrive se non ha basi solide?? Mania di protagonismo? E' irrispettoso nei confronti dei colleghi? Beh a dire il vero una birra di troppo spesso ci scappa ma a volte aiuta... anche se il piu' delle volte ti frega. Comunque, dopo tanti anni di questo bel e duro lavoro, infine e finalmente, non mi sento piu' solo:
Bartender: "ho avuto modo di notare che i vari robot dei motori sembrano ignorare le istruzioni dei file robots.txt"
Giorgiotave: "Nonostante il robots mi ha indicizzato delle pagine"
Grazie. Ago
Permessi di invio
Rispondi quotando