Ciao ragazzi,
sto generando una sitemap del mio sito, ho 2 domande:
1- il crawler non apre i link estrerni? La mia paura è per adsense di google
2- quanto tempo in media impiega? E' partito ieri sera alle 17.00 e ancora sta camminando, è arrivato a 115.000 righe. Sono in media con i tempi oppure sono le mie risorse un pò lentine?
ciao
Nessuno?
Non ha ancora finito?VVoVe:
Non so, ma quante pagine ha il tuo sito? Comunque il tempo mi sembra un po' lungo...
Non ho ancora capito come funziona, ma questa mattina indicava 115.000 ogni tanto torna indietro.
Ora mi dice 101.000 in aumento
il programma è GSiteCrawler v1.20
avrai comunque un'idea di quante pagine abbia il sito di cui vuoi fare la sitemap, al di là di quello che ti dice il crawler
Non ho mai fatto il conto
su dai, come ordine di grandezza... se ne ha 100 o 100.000 lo saprai no?
Facendo un rapido calcolo potrebbero essere 35.000, ma allora perchè il crawler me ne trova il triplo minimo?
e perchè il numero scende per poi risalire?
Per prima cosa ti conviene verificare che non si generino indirizzi ripetuti per la stessa pagina: non so se il sito è indicizzato già in qualche motore e se ti prende le pagine correttamente. Questo potrebbe essere dovuto a errori nell'implementazione dell'url rewrite, oppure alla presenza di parametri ridondanti nella querystring.
Poi potresti evitare di inserire nella sitemap per esempio le immagini o altri tipi di file non interessanti; vedi inoltre se il software prevedere un timeout fra il fetch di una pagina e il successivo, magari rallenta per quello.
In quest'oretta ho provato SiteMapBuilder.net che ha trovato 180.000 link da processare e ne ha processati 5.000 circa fin quando non ho fermato il programma che mi stava prendendo il 100% delle risorse del PC.
Comuque controllando non mi pare che ci siano url ripetuti, la cosa che noto è che ci sono centinaia di url per il Forum (anche di questi nessuno ripetuto) e il forum nel mio sito è la cosa minore.
Fatto sta che indicava 180.000 url trovati e non mi tornano i conti
Permessi di invio
Rispondi quotando