Ma msn considera i robots.txt?

[Evi|A|ivE]

ho specificato un disallow totalegenerale per la cartella dello script delle statistiche di un sito.
nessun link alle pagine, se nn i JS per tener traccia delle visite (nel codice delle pagine generate non c'è traccia di links allo script per le stats).

Bene, su msn con un site: compare la cartella gentilmente indicata come da "evitare" nel robots.

Che tra l'altro ha solo quella condizione da rispettare..

boh..

Edito e aggiungo: qualcuno (ciao sparwariii! ) ha obiettato "usi la toolbar?"

Si, ma cmq resta il fatto che il robots dovrebbe impedire l'accesso no?

Poi su explorer, che uso solo pe ri test, ho il link in barra collegamenti alla pag delle stats (il seconod utilizzo di explorer.. ahah) quindi ok , MSN potrebbe aver prova dell'esistenza della pagina. Cio non toglie che il robots dovrebbe negare l'accesso... no?

[cosencao]

Io sapevo solo google....

[Evi|A|ivE]

Originariamente inviato da cosencao
Io sapevo solo google....

3 parole o 5 righe.. sempre +1 al counter prendi.. spiegaahh in italianoohhh

sapevi solo google che vuol dire? che solo google seguiva le direttive dei robots? ma ti pare? O_o

[annunciaaa]

Qui trovi qualcosa al riguardo:

MSN robot.txt


Ciao

[agoago]

Msn dice:

"To prevent your website or web pages from appearing in the MSN Search index, use any one of these methods:"


Normalmente e di principio msn rispetta il robots, ma msn parla (mettendo le mani avanti) di evitare (prevent).

Come dire, se io ho gia' spiderizzato qualcosa e tu poi me lo blocchi con il robots, sta poi a me decidere se levarlo o meno dalle serp. Non ti leggo piu' quel contenuto ma il vecchio te lo rimuovero' come e quando vorro' io.

Se invece continuasse ad inserire in serp nuove pagine protette via robots allora sarebbe grave, ma credo succeda molto raramente.

Il robots blocca da quel momento in avanti e-ma non si sa bene se abbia valore retroattivo.

Dovrebbe averlo ma non e' detto. A me potrebbe fare comodo che un motore "congeli" una data mia pagina e non la aggiorni piu' nel suo db... in teoria potrei usare un robots, gli dico: da oggi non passare piu' a leggerla, se ti piace mantenere la vecchia versione ok, viceversa fai cosa vuoi.

---------

Insomma, il robots e' stato mantenuto negli anni (volutamente) come un qualcosa senza valore legale, senza aggiornarlo nelle sue specifiche (e dire che il web e' cambiato nel frattempo), un qualcosa che fa comodo che ci sia ma solo quando e qualora se ne abbia convenienza, il tutto ovviamente nella piu' completa e libera interpretazione di spider e wm.

[Evi|A|ivE]

ho uppato prima il robots e poi il sito, pensa te!

appunto mi sembra assurda sta cosa.

Inoltre, stessa cosa per google!
trovo il dominio (solo dominio senza descr. e titolo) nelle serp.

cancello l'url tramite form. Dominio sparito.

Vado a vedere ieri.. ricompare.

è un dramma -_-