In base a cosa lo spider scansiona tutti i link?

[edark]

Salve a tutti!
Vorrei sapere una cosa...
In base a che cosa lo spider decidere quali link "visitare" e quali no...?Perchè ci sono pagine del mio sito che non sono state ancora "visitate" dallo spider...
Perchè?

[slay]

io ad esempio uso una mappa e tutti i link che ho li vengono indicizzati... e sempre meglio non andare oltre il 2 livello cmq

[E.L.]

[supersaibal]Originariamente inviato da edark
Salve a tutti!
Vorrei sapere una cosa...
In base a che cosa lo spider decidere quali link "visitare" e quali no...?Perchè ci sono pagine del mio sito che non sono state ancora "visitate" dallo spider...
Perchè? [/supersaibal]

Non tutte le pagine vengono visitate ogni giorno, alcune nei livelli più bassi vengono spiderizzate una volta al mese anche....