spider free

[p.turrini]

Ciao a tutti,
ho visto che qualcuno utilizza degli spider free per vedere come rispondono i siti da indicizzare. Sapete indicarmene?

Inolte: qualcuno mi sa indicare un BUON post che spieghi cosa è il file robots.txt?

Grazie

[assia]

Per il robots.txt puoi leggere http://pro.html.it/view_articolo.asp...at_28/pro.html

[meganoide]

http://www.robotstxt.org/

[p.turrini]

Mi sembnra quindi di capire che il file robots serva solo per escludere certi robot da certe pagine e non per "suggerire" al motore di visitare ulteriori pagine...

Per gli spider gratuiti qualcuno sa qualcosa?

[assia]

L'unico modo per suggerire ai motori di visitare un sito/una pagina sono i link da altri siti, e l'unica cosa sul sito stesso che può aiutare l'indicizzazione è una buona struttura di link tra le varie pagine.

Cosa sono gli spider gratuiti? Forse i tool spider simulator?

[agoago]

Ciao a tutti,
ho visto che qualcuno utilizza degli spider free per vedere come rispondono i siti da indicizzare.

Io utilizzo http://www.master.com ottimo e pratico (e soprattutto gratis) fino a 1000 pagine.