Per amor di scienza, per scemenza, forse per megalomania o per altri motivi tutti miei ho fatto un test suicidio, magari mai provato precendemente, almeno su molti domini, in quanto rischioso.

Da lunedi' scorso 9 gennaio ho spento tutti i miei server, di conseguenza circa un 500 - 1000 siti down, tra siti serissimi-storici, vecchi siti di spam e siti di test. Server iis ed apache.

L'avevo gia' fatto una volta, ma solo per un paio di giorni per testare alcune prove di dns e solo per i siti di test.

Vorrei capire come si comportano gli spider dopo non aver potuto accedere per tanti giorni ad un sito, se i motori tendono a modificare le loro serp subito non ricevendo piu' risposta da un sito, o le modificano solo nelle date previste dai loro preprogammati aggiornamenti.

Voglio vedere cosa fa Adsense, dopo 7-8 giorni di fermo tecnico, mi dara' poi le stesse rese?

Voglio capire se subiro' pesanti penalizzazioni, e se si, che tipo di sito sara' stato penalizzato piu' o meno pesantemente, prima o dopo.

Capire poi se le penalizzazioni saranno "recuperate" un domani, nel momento in cui il motore potra' "vedere" ancora online i siti prima riscontrati down.

Per esempio ora so che non si puo' cancellare un sito down tramite il remove-url di G, va ciucco...

----------

Spero di ottenere delle risposte utili.

Ho una mezza idea di cosa potrebbe succedere in caso un motore trovi un sito down per parecchi giorni, e credo (sensazione tutta mia, senza senso logico alcuno) che i benefici superino le penalizzazioni.

Un motore e' molto attento a penalizzare chi cerca di fregarlo, non chi ha problemi, magari un server rotto.

I motori se non possono per un certo periodo valutare un sito potrebbero in seguito dedicargli maggiore attenzione, per esempio rimetterlo per un giorno tra i primi nelle serp, per recuperare il tempo perso e rivalutare il tutto in base a cosa cliccano gli utenti.

O forse potrebbero pensare che qualcosa rispetto prima sia cambiato e rispiderizzarlo del tutto.

Forse lo bannano... fregandosene del problema.

Mah, vedremo, comunque sono ottimista, molto ottimista.
Oltre 9 anni di lavoro puntati su un unico numero.

Nessuno sarebbe cosi' folle o scemo... a meno che non ritenga di conoscere cosi' bene il croupier da illudersi di dove cadra' la pallina.

---------

Di sicuro per ora c'e' solo il croupier msn che mi sta levando, giorno per giorno, le pagine dalle sue serp. Credo che man mano che non le trova le cancelli dal suo db.

Aggiorna in tempo reale, Y e G no.

Buono a sapersi.

-------------

Msn legge di tutto, mette nelle serp di tutto.

Se ho un sito di 5000 pagine e Msn mi restituisce 5000 pagine nelle sue serp, cosa faccio?

Controllo i miei file log della settimana.
Quante pagine hanno ricevuto accessi, in quella settimana, da Msn?

1000? ed allora delle altre 4000 che me ne faccio rispetto M?
Posso rimuoverle sperando che le 1000 "buone" siano poi premiate?

Se blocco le 4000 per M con il robots, M capisce il gioco.
Se rispondo a M con un code qualsiasi M capisce il gioco, riceve un code in risposta ed allora sa che il sito e' up.

-----------------

Dimentichiamoci di M, per non confonderci le idee.
Veniamo al punto.

A seconda di che code riceve un motore, il motore ragiona in una certa maniera.

I seo discutono di come si comportano i motori a seconda dei code ricevuti dal server web.

Se 301 fa cosi', se 302 cosa', se 200 no prob, se 403 allora... ecc ecc

Giustissimo.

Forse potrei rispondere ai motori un code piuttosto che un altro, perche' il server SHOULD RESPONSE, NOT MUST RESPONSE (modificando il codice sorgente del server web stesso), ma cambia poco se al posto di un 404 rispondo con un 200 in quanto il motore sa che ha letto una pagina, ma la pagina di fatto non esiste... forse potrei invertire 301 con 302, tralasciamo... (e poi conta la sequenza dei possibili 99 code prima del teorico ultimo considerato?)

Invece qui si parla di una cosa completamente diversa.
Forse mai discussa in precedenza, o forse si, poco importa, non danno medaglie per queste cose.

Come faccio a far credere ad uno spider, o ad utente, od ad un tipo di browser, o ad un dato refer, ecc ecc che un sito sia down???

------------

Per verificare un down non si deve ricevere un classico code, forse bisogna mandare la richiesta in timeout. Timeout = down = no response code.

Potrei lavorare sui settaggi del router a seconda di che ip fa la richiesta, ma per gli altri parametri?, per dire l'user agent? Mah

Parliamo di timeout, senza nessun tipico code in ritorno. Forse senza code del tutto...

------------

Forse e' possibile per un dominio, ma sara' anche possibile pagina per pagina?

Ma che senso ha che una pagina risulti down se poi il sito a cui appartiene e' up??

Ricordiamoci, down non significa che non esiste piu', ma che non e' raggiungibile in quel momento. Ricevero' un 408, 504 o nulla?
Ci vorrebbe qualche hacker o qualche laureato in gamba perche' lo spieghi.

Torniamo pero' alla domanda di prima: Ma che senso ha che una pagina risulti down se poi il sito a cui appartiene e' up??

Perche' nessun motore controlla-raffronta file/sito. Per loro se un file e' down significa che e' down. Un sito potrtebbe essere diviso tra 10 server, ed uno di questi server potrebbe essere down, una cosa non implica l'altra.

--------

Ricapitolando, posso, e se si, come posso far credere, ad un motore per esempio, che un file (una mia pagina per esempio) sia down mentre in realta' non lo e'?.

-------

Che razza di test o ricerca e', direte?

Colpo di scena.... o un colpo dello scemo, fate voi!

Un motore potrebbe non poter accedere ad una parte di un sito perche' bloccato da robots, perche' bloccato da pass, perche' quella parte non esiste piu', o perche' per lui e' momentaneamente down.

Nel primo caso non si fa scrupoli, ce l'avete con lui.

Nel secondo non fate distinzioni tra lui e gli utenti anonimi, ma non e' che la cosa gli piaccia troppo lo stesso....

Nel terzo siete in torto, richiamare file che non esistono piu', pessimo servizio-input per gli spider e per gli utenti tutti... ma controllate l'error log del vostro sito ogni tanto?

Nel quarto caso? Stara' resettandosi ora il server? Ci sara' il router giu'? Problemi di banda? Chi lo sa... vedro' come comportarmi in questo caso, ragiona il motore.

----------------

Trovate una soluzione a questo quesito e potrete nacondere cosa vi pare a chi vi pare senza essere penalizzati, almeno per i primi anni a venire.

--------------------

Ovvio direte, scontatissimo, il cloaking c'e' da una vita.
Verissimo, ma il vecchio cloaking e' morto.

Non hanno ucciso il cloaking ma tutti gli effetti, uno alla volta, che il cloaking produceva.

Il motore leggeva lo spam, gli utenti le pagine serie.
I motori non erano reinderizzati, gli utenti si.

Non potendo uccidere il cloaking hanno bannato doorway, redirect e via dicendo.

Questo non significa che il cloaking sia morto, ma che sono stati messi al muro i vecchi risultati-figli del cloaking.

------------

Una tecnica perversa produceva risultati perversi. Ora i risultati perversi sono giustamente morti e sepolti.

Prima si usava questa tecnica affinche' un utente vedesse una pagina seria, mentre il motore ne vedava una di comodo.

Prima si usava questa tecnica affinche' un utente vedesse una pagina per brevissimo tempo, tempo 0, mentre il motore la vedava senza redirect.

-----------

Comunque la si usasse uno vedeva un qualcosa, l'altro un'altra cosa.
Minimo comune denominatore: vedere qualcosa.

Poi si e' pensato faccio vedere ad uno una cosa e all'altro nulla... per l'altro non ci sara' nulla da vedere, nulla da spiderizzare, nulla da analizzare.

Ma "l'altro", (mica scemo) ha detto: non mi vuoi far piu' accedere? allora mi vuoi fregare... ti penalizzo per principio!

----------

La risposta a tutto questo ad oggi potrebbe essere il far vedere ad uno una cosa, ma all'altro non vietare nulla, non distorcere nulla, non redirigere, semplicemente fargli venire il dubbio se cio' che non riesce a spiderizzare, causa pagina down, sia voluto o causuale.

----------

Se non ti permetto di vedere una cosa e' colpa mia, una mia scelta, MA se non ci riesci per cause indipendenti dalla mia volonta', mi puoi colpevolizzare?




P.S. Posto la questione, sia su giorgiotave che su html, mi perdonino entrambi i titolari dei 2 forum, non e' brama di apparire, ma visto che rischio con questo test (in realta' non me ne frega nulla che i motori eventualmente mi cancellino i siti dalle loro serp, ma il patos rende solidari, tanto vale approfittarne) e che si tratta di un argomento originale, lo riporto ovunque credo ne valga la pena, ed onestamente non e' che in italia conosca molti altri forum frequentati da esperti nel settore.