Google, googlebot, sitemap, robots.txt e... chi più ne ha più ne metta!

[jarod82]

Salve,

A fine aprile il googlebot non è riuscito a fare il crawl dell'ultimo post del mio blog ( www.efficacemente.com ), probabilmente a causa di un down del server, andando a generare un errore di robots.txt unreacheable.

Da quel giorno il googlebot si è dimenticato di me... tutto tranquillofino ad oggi, quando le visite da google sono crollate ed il blog è praticamente sparito dall'indice del motore di ricerca.

Utilizzando google webmaster tool ho provato ad inviare nuovamente la mia sitemap, ma nulla da fare, google non riesce ad accedervi, di seguito l'errore riscontrato:

"We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit."

In realtà sia il file robots.txt sia la sitemap.xml sono facilmente accessibili:

www.efficacemente.com/sitemap.xml
www.efficacemente.com/robots.txt

Ma nulla da fare, google continua a non prenderle in considerazione!

Qualcuno ha qualche idea per risolvere il problema?

Grazie mille,
Andrea.

[fradefra]

Nel robots.txt non hai indicato l'istruzione Sitemap che indica dove si trovi la stessa. Non è importantissimo, se l'hai caricata con il Webmaster Tool. Sarebbe meglio inserirla per gli altri motori, però.

Comunque, l'errore non è questo.

Ad un primo controllo sommario, mi sembrano ok. Hai già verificato la sintassi punto a punto dei due file? Io ho solo dato una sbirciata veloce.

Altra cosa. Prova a controllare i log del server, nel momento in cui dici a google di prendere la sitemap. Magari lì trovi qualche errore che ti dice cosa sta succedendo. A volte è lo spider ad avere problemi che con il browser non si hanno.

[jarod82]

Grazie per la risposta FradeFra,
La sitemap è generata in automatico da un plugin wordpress: ho utilizzato plugin differenti, ritengo improbabile che abbiano generato tutti un errore nella sitemap.

Ho provato a vedere il log degli accessi, ma non c'è traccia del googlebot.

Continuo a non capire a cosa possa essere legato il problema!

[key]

non mi sbaglio.
errore e tuo ce ne sono piu di uno...e google mi aiuta.
facendo site:efficacemente.com index hai 108 volte dei plugins che si RIindirizzano alla home cio vuol dire che il bot ha solo il dolor di testa x questi ping pong.
e come andare avanti e indietro sembre sullo stesso filo.
ai un robots.txt vuoto scusa ma perche ce l´hai????? VUOI cheil boss si incazza????( E LO FA)
ai spammato troppo il url senza ricevere ip.
POI altri errori ecccccceccccccccccccecccccccccccc

[jarod82]

Grazie key per la risposta:

puoi suggerirmi la riscrittura del robots.txt.

Io ho provato con questo nuovo testo:

User-Agent: *
Disallow: /wp-content/plugins/

Comunque attualmente il problema è che il googlebot non riesce neanche ad accedere al file robots.txt.

Ecco l'errore:http://www.efficacemente.com/2009/04...one-obiettivi/
robots.txt unreachable May 5, 2009

Non riuscendo ad accedere google per "pararsi il culo" elimina l'intero sito dal proprio index: If Google can't reach your robots.txt might not index your site

Questo è il problema più urgente che vorrei risolvere.

Suggerimenti?
Grazie ancora per la disponibilità.

[key]

il robots.txt x questo caso specifico e ok...poi mi segnali 2 link , uno lo apro facilmente, e altro e un articolo del 2008 cioe circa 2 anni fa´, sai le cose che cambiano a livello di aggiornamenti al minuto e ripeto al minuto con google????IL BOSS si autoaggiorna oggi gg.
tu di errori ce ne hai a zeffa, a livello di seo e di wm, adesso un altro x essere clementi e Ξ questo, questo segno devia il un certo bot in altri campi , cioe tu scrivi in italiano e usi nel titolo il " Ξ "SEGNO CREDO MATEMATIC0??? IObot dove tevo spedire il tuo url in italia o a un corso di matematica?????
SI FA BELLINO il logetto nel titolo, ma poi non lamentarti??? in ogni caso gli errori sono tanti..aggiusta x adesso questo e vedi come si comporta.

[jarod82]

Grazie ancora key

Ho già provveduto a togliere la xi greca. Ma il problema continua ad essere lo stesso:

robots.txt unreacheable e sitemap impossibile da inviare.
Stamattina l'errore è apparso anche per uno degli ultimi articoli pubblicati

http://www.efficacemente.com/2009/05/avere-successo

Ho provato a contattare anche il mio servizio di hosting. Confermano che non stanno bloccando il googlebot.

Ho provato a verificare se fosse un problema legato al dominio preferito. Ma ho come dominio preferito il "www" e la sitemap presenta al suo interno indirizzi con il www.

Sapresti indicarmi con precisione gli errori SEO a cui ti riferisci? Ma soprattutto, sapresti indicarmi perchè risulta il robots.txt unreacheable?

Ho provato anche ad eliminare il file in questione, ma sembra che sia generato in automatico.

Grazie.

Andrea.

[Armando33]

E' solo un'idea.
Vai a controllare l' htaccess soprattutto nelle righe in basso , a volte dopo parecchie righe vuote, potrebbe essere che trovi delle sorprese.
A me e' capitata una cosa del genere, un problema di sicureza, mi hanno modificato quel file e sono uscito dall'indicizzazione di G e avevo lo stesso problema con la sitemap.

Scusa ho scritto di getto.

[jarod82]

Grazie Armando,

non mi sembra di notare nulla di anomalo nel htaccess. Questo il contenuto:

Addhandler fcgid-script php fcgi
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

[Armando33]

a volte dopo parecchie righe vuote

Come non detto. Ciao