Lunghezza robots.txt

**Evi|A|ivE** · 28-02-2006, 22:25

ma la lunghezza massima è di 2000 caratteri? e oltre che succede? viene bypassato o lo spider abbandona il sito?

**osvi** · 01-03-2006, 09:25

fonte?

wikimedia ne usa uno da oltre 4k e direi che funziona

**Evi|A|ivE** · 01-03-2006, 10:10

la fonte è l'errore che mi ritorna google analytics

beh neanche io avevo mai sentito di limiti di lunghezza... pero la scrittina rossa che mi dice "max 2000 caratteri" mi allarma.. dato che nn so la reazione (bypass totale? se ne frega e legge tutto? non legge nulla? mi manda la polizia a casa?)

**osvi** · 01-03-2006, 10:16

oddio 2000 caratteri son tanti
prova a togliere i motori inutili riducendone la dimensione..

**Evi|A|ivE** · 01-03-2006, 10:22

si effettivamente sarebbe piu comoda una funzione del tipo "tutto fuori TRANNE .."

Anch ese mi chiedo.. nel momento in cui uno spider malevolo (vedi i succhiabanda) legge un robots che lo esclude... si fa scrupoli e lascia stare?

**osvi** · 01-03-2006, 11:30

qualcuno purtroppo è bastardo e lo ignora
http://en.wikipedia.org/robots.txt ho dato una lettura veloce e non l'ho ritrovato, forse l'hanno tolto, fino a poco tempo fa c'era "anche se ignora robots.txt, useragent:x; disallow:/"

**Guspy** · 02-03-2006, 13:22

un robots.txt con pr6 ?

.... ma lo hanno linkato? ... e perché?

**fradefra** · 02-03-2006, 15:14

[supersaibal]Originariamente inviato da Guspy
un robots.txt con pr6 ?

.... ma lo hanno linkato? ... e perché?

[/supersaibal]

Lo "linkano" tutti quelli che lo citano come esempio.

**Guspy** · 02-03-2006, 16:52

[supersaibal]Originariamente inviato da fradefra
Lo "linkano" tutti quelli che lo citano come esempio. [/supersaibal]

incredibile! ... ammetto la mia ignoraza, non lo sapevo

Discussione: Lunghezza robots.txt

Strumenti discussione

Ricerca discussione

Visualizza

Lunghezza robots.txt

http://en.wikipedia.org/robots.txt

Re: http://en.wikipedia.org/robots.txt

Re: Re: http://en.wikipedia.org/robots.txt

Permessi di invio