Googlebot errore 403

[finalmarco85]

Buongiorno a tutti
Cercherò di il essere meno prolisso possibile, sperando di aver scritto nella sezione corretta


Dal 24 Maggio lo spider di google non riesce piu' ad accedere ad i miei siti (errore 403) con gravi conseguenze in termini di accessi.


La mia prima reazione fu quella di pensare di essere stato bannato per qualche ragione da google, ma sia il webmaster tool che i vari servizi di check web restituiscono che i siti non sono stati bannati.


Se cerco infatti su google con l'opzione "site:www.xxx.xx" google restituisce dei risultati, ma se scrivo anche solo il nome a dominio su google senza l'opzione site siamo scomparsi, come siamo scomparsi anche da google news.


Provando con un simulatore di bot il risultato è il seguente, solo con il googlebot mentre con bing e gli altri funziona


HTTP/1.1 403 Forbidden
Date: Sat, 07 Jun 2014 09:18:15 GMT
Server: Apache/2.2.22 (Debian)
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 20
Connection: close
Content-Type: text/html; charset=iso-8859-1


Avevo pensato che fosse qualche cosa legata a possibili modifiche del codice ma l'errore persiste anche in sottodomini i quali sono completamente separati, dal punto di vista del codice, con il sito principale.


Essendo una macchina dedicata ho quindi ipotizzato possa essere il firewall ma hostiamo un terzo sito di un amico sul server e quello risponde con un 200 al bot funzionando correttamente.


Quindi ricomincio a pensare che possa essere qualcosa lato google ...


Qualche idea ? :muro: :mc: :mc: :mc:


I siti in questione sono www .gamesource.it e www .ffonline.it il sottodominio con codice diverso che risulta anche esso in 403 è history.ffonline.it, mentre il sito dell'amico che hosto sulla macchina ed al quale google bot accede correttamente è www. playstationbit.com


Il simulatore che ho utilizzato è botsimulator.com


Qui sotto l'immagine del webmastertool in merito agli errori

[rigby76]

Ho fatto una prova variando lo user agent del mio browser, impostandolo come quello di Googlebot, e verifico che il server ritorna 403. Ne segue che la cosa non dipende dall'IP ma semplicemente dallo user agent del client: certamente quindi non dipende da Google ma c'è qualcosa sul tuo server che fa scattare il blocco. Potrebbe essere a livello di Apache o a livello di codice, non saprei. Faccio fatica a fare ipotesi perché non capisco il senso. C'è possibilità che l'applicazione sia stata bucata? Si tratta di un CMS open source o è una cosa custom?

[Prill]

sicuramente non c'entra nulla, ma hai problemi evidenti sul primo sito che hai indicato: se clicco su categorie appare qualche riga di codice php e se provo ad aprire alcune voci mi viene caricato un messaggio di errore. Qualche link inoltre restituisce un errore 404

[finalmarco85]

Ho fatto una prova variando lo user agent del mio browser, impostandolo come quello di Googlebot, e verifico che il server ritorna 403. Ne segue che la cosa non dipende dall'IP ma semplicemente dallo user agent del client: certamente quindi non dipende da Google ma c'è qualcosa sul tuo server che fa scattare il blocco. Potrebbe essere a livello di Apache o a livello di codice, non saprei. Faccio fatica a fare ipotesi perché non capisco il senso. C'è possibilità che l'applicazione sia stata bucata? Si tratta di un CMS open source o è una cosa custom?

Grazie Rigby76
Esaminando lo storico del SVN non sembrano essere state fatte modifiche del codice in quel periodo, almeno a quanto mi dice il sistemista, che spero possa unirsi alla conversazione al più presto magari postando i log del firewall della macchina il contenuto dell'.htaccess apache ed altre informazioni che possano essere utili ad analizzare la situazione.
Gamesource e FFonline entrambi che rispondono con 403 sono custom e condividono lo stesso codice. il problema è che anche il sottodominio history.ffonline.it che è la versione del 2002 sempre di ffonline sempre custom ma che non ha nulla a che vedere con i primi due (dal punto di vista del codice) risulta 403.
Allora uno va dire .. sicuramente un firewall del server .... ma playstationbit .com che hostiamo sulla stessa macchina (wp) risponde 200

sicuramente non c'entra nulla, ma hai problemi evidenti sul primo sito che hai indicato: se clicco su categorie appare qualche riga di codice php e se provo ad aprire alcune voci mi viene caricato un messaggio di errore. Qualche link inoltre restituisce un errore 404

grazie Prill
Come hai detto ovviamente i 404 nel footer ed il bug delle categorie non hanno influito a questa situazione, ma appena risolto questo problema decisamente grave sono la nostra priorità

[Prill]

fai una prova: crea una semplicissima pagina html, caricala sul server, elimina momentaneamente il file htaccess e il robots.text e prova ad accedere