Sapreste consigliarmi un robots.txt già pronto con dentro i bot "cattivi"
Sapreste consigliarmi un robots.txt già pronto con dentro i bot "cattivi"
Sarebbe inutile. I bot cattivi se ne fregano del robots.txt.
in che senso? se io tramite quell'elenco blocco l'accesso al mio sito di quei determinati bot sono tranquillo
No, perchè il robots.txt non è un vincolo sistemistico, ma solo un'indicazione. Quindi se un bot se ne vuole fregare, se ne frega!Originariamente inviato da Ranma2
in che senso? se io tramite quell'elenco blocco l'accesso al mio sito di quei determinati bot sono tranquillo
Senza contare il fatto che le regole si basano sullo user agent, cosa che è possibile per chiunque modificare a piacimento: anche tu se vuoi puoi mettere nel tuo browser lo user agent di Google bot, e le tue visite a prima vista potrebbero essere prese per quelle dello spider di Google!
Cosa che a sua volta non ti impedisce per niente di accedere a tutti i documenti che tu hai proibito a Googlebot nel robots.txt.
Vabbè in ogni caso meglio comunque metterlo no?
Il robots.txt è un utile strumento, ma non per bloccare bot malintenzionati.Originariamente inviato da Ajeje Brazof
Vabbè in ogni caso meglio comunque metterlo no?
mi direste le principali istruzioni per il robot?
oltre a index quali esistono?
Prova a vedere quello di html.it
Per bloccare i malintenzionati devi usare l'htacces sulla cartella principale
o, se hai la shell a disposizionecodice:order allow,deny deny from 127.0.0.1 allow from all
Ovviamente, se non ti vuoi bloccare il server, sostituisci l'ip nell'istruzione, magari prendendoli da qualche blacklist.codice:iptables -A INPUT -s 127.0.0.1 -j DROP
UtèñtE non ti dirà mai come trasformare l'argilla in marmo, ma se gli chiederai come progettare una simulazione con le bacche di mirto, ti risponderà: "Versane ancora!".
Permessi di invio
Rispondi quotando