Grazie della segnalazione dell'applet java che fa il crawling, se però uno vuole ottimizzare il proprio sito decentemente non credo che sia uno strumento perfetto per i seguenti motivi:

- l'applet funzionerebbe a dovere per siti di poche pagine per i quali è semplice costruire una mappa e per i quali bene o male tutte le pagine devono essere indicizzate, per questi siti però è molto meglio e relativamente semplice mettere i link giusti in html fra la home e le varie pagine in modo che anche il PR si distribuisca

- per siti con migliaia di pagine (esempio: un forum) è opportuno dare in pasto alla sitemap soltanto i link giusti, ad esempio i link "edit", "reply" eccetera dei topic e dei post non devono essere seguiti, così come in un forum potrebbero esserci subforum che non ci interessa indicizzare (come gli OT eccetera): anche in questo caso l'applet non servirebbe, io per un forum di questo tipo ho creato uno script che mi seleziona soltanto i topic di interesse e da quelli crea la mappa.