Come non farsi copiare il sito?

[[Gnomix]]

Salve a tutti,
gestisco il sito www.gnomixland.com è nell'arco di 1 settimana, ben 2 testine hanno cercato di copiarmi l'intero sito (usando wget, puf o altro...) provocandomi:
1) grandissima richiesta di banda
2) lamente dai miei sponsor che credevano che io volessi fregarli
3) statistiche non reali

Ora vi chiedo.. come posso bloccare ste testine di ..... ?
Esistono script in C perl o quant'altro magari da eseguire tramite crontab per evitare sti problemi?

Grazie a tutti

[Boromir]

usa squid come httpd_acceleretor o meglio come reverse proxy e filtri tutto con dei regexp ad hoc !

[[Gnomix]]

cioè? qualche how to in merito?
perchè io pensavo di fare uno script ad hoc che controllare i log di httpd con alcune regole

[Boromir]

in teoria squid e tutti proxy in generale vengo considerati dei "firewall" layer 7. Quindi possono gesitire delle policy di sicurezza a livello applicativo. Se googli trovi tanto materiale su come fare un reverse proxy , e credo che basti solo quello perchè al max si scaricano la cache del proxy , senno applichi delle regole particolari !

[gigyz]

esiste il robot.txt che è stato fatto apposta, è aggirabile ma è una osluzione a costo 0

[[Gnomix]]

Si ma non penso ke usando programmi come wget o puf il robot.txt possa servire a molto...

[tog1]

Originariamente inviato da gigyz
esiste il robot.txt che è stato fatto apposta, è aggirabile ma è una osluzione a costo 0

imho, non serve per quello che vuole lui, robots.txt viene usato dagli spider del motore per sapere cosa non indicizzare con il wget del file in oggetto non se ne fa niente....

[[Gnomix]]

Originariamente inviato da toghir1
imho, non serve per quello che vuole lui, robots.txt viene usato dagli spider del motore per sapere cosa non indicizzare con il wget del file in oggetto non se ne fa niente....

esatto certi programmini non utilizzano mica robots.txt ma di solito sono gli spider ad utilizzarli...

[gigyz]

wget invece lo usa e per non usarlo esiste un opzione che non è documentata nemmeno nel man ... provare per credere

[[Gnomix]]

bho non so puf ad esempio non fa nessuna richiesta al robot.txt e cmq non ho definito nessun robot.txt nel mio server..