Cosa può fermare il deep crawling di Google?

[beke]

A fine maggio ho segnalato un sito, nel quale ho ottimizzato solo alcune pagine interne, a svariate directory fra le quali anche joeant.com a pagamento.

Da più di un mese e mezzo il sito ha una diecina di links ( con pr < 4 eh... ) nell'indice di Google, trovati con +www.nomesito.est.

Nonostante questo sembra che Google abbia messo nel suo indice solo la index del sito e questo non riesco a spiegarmelo.

La index ha un sacco di link alle altre pagine su delle immagini ed anche un menù di servizio in HTML puro.

Secondo voi si tratta solo di aspettare ancora?

Sono passati ormai due mesi...

[beke]

L'11 giugno passa "crawler12", cerca il file "robots.txt" che non trova, poi trova la default.htm e si ferma lì.

Il 29 giugno passa "crawler11" e la storia si ripete...

[Paal]

Ho una piccola esperienza riconducibile al tuo discorso ...
Forse ho frainteso gli avvenimenti, ma da quando ho tolto il file robots, ho notato un peggiornamento nel posizionamento e nel PR (non passano nelle varie pagine lincate alla index?).

Altra cosa, un sito senza robots non riesco a farlo decollare ...

[beke]

Mi sembra strano che Google penalizzi la mancanza del "robots.txt", che in realtà probabilmente manca sulla maggior parte dei siti esistenti...

Anche la mancanza di direttive specifiche nei metatags della pagina dovrebbe semplicemente far capire allo spider che può andare dove vuole... o no?

[Paal]

Originariamente inviato da beke
Mi sembra strano che Google penalizzi la mancanza del "robots.txt", che in realtà probabilmente manca sulla maggior parte dei siti esistenti...

Anche la mancanza di direttive specifiche nei metatags della pagina dovrebbe semplicemente far capire allo spider che può andare dove vuole... o no?

Concordo.
Ripeto: posso aver frainteso la successione degli eventi ed aver messo in relazione due cose in realtà indipendenti.

A riprova, provo a rimetterlo senza apportare altre modifiche e ... si vedrà.

[Nicola M.]

Originariamente inviato da Paal
Ho una piccola esperienza riconducibile al tuo discorso ...
Forse ho frainteso gli avvenimenti, ma da quando ho tolto il file robots, ho notato un peggiornamento nel posizionamento e nel PR (non passano nelle varie pagine lincate alla index?).

Altra cosa, un sito senza robots non riesco a farlo decollare ...

Io non ho il file robots eppure sono indicizzato benissimo

[beke]

In ogni caso non parlavo di ranking, ma del fatto che il crawler di Google sembra non voler visitare le pagine interne del sito anche se i links ci sono.

Li ho pure controllati navigando nel sito con linx...



Secondo voi Google può indicizzare la home di un sito "nuovo" e poi dopo due mesi non aver fatto un deep crawling decente?

[Paal]

Originariamente inviato da Nicola M.
Io non ho il file robots eppure sono indicizzato benissimo

Anch'io sono in prima pagina quando non in prima posizione per determinate key.
A meno di sviste ed errori resta il fatto ... il fatto ... il fatto che probabilmente ho detto una ****zata.

[Nicola M.]

Secondo me il deep crawling manca da maggio, per cui potrebbe essere.

[beke]

tra l'altro mi sono accorto che già a fine maggio crawl2 e crawl7 avevano visitato altre pagine rispetto alla home.

Queste visite non si sono ripetute e le pagine non sono ancora nell'indice...

:master: