robot.txt e vari user agent che grabbano i siti

[Pubblionline]

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Teleport\ Pro
Disallow: /

User-agent: TelePort Pro
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: Wget
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: Zeus 2.6
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus.*Webster
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /


User-agent: *
Disallow: /img/
Disallow: /images/

[Pubblionline]

Ho dovuto realizzare una lista di questo genere visto che i miei siti sono spesso copiati. Se vi va di tenere aggiornato questo robot.txt con nuovi programmi che escono potrebbe essere un post interessante.

[banned]

WebCopier
Webcopier
Webcopierv
Teleport
TeleportPro/
WebZIP
Wget
CUrl
curl
curl/
PagmIEDownload
Pavuk
pavuk
pavuk/
WebDownloader
WebPix
WebReaper
WebStripper
WebStripper/

Credo che chi copi però solitamente lo faccia a mano

[sparwari]

vi siete dimenticato del browser offline free più diffuso?
http://www.httrack.com
il suo nome è httrack , ma alcuni lo chiamano winhttrack e altri ancora webttrack

cosa si deve mettere per bloccare questo?

[meganoide]

io ho questa stringa:
User-agent: WinHTTrack
Disallow: /

[Pubblionline]

[B]Credo che chi copi però solitamente lo faccia a mano

A me questa notte e varie altre volte mi hanno copiato il sito intero, 36Mb.

[weppos]

Il problema è uno oslo.
Molti dei siti sopra citati ignorano il robots.txt .

[Pubblionline]

Originariamente inviato da weppos
Il problema è uno oslo.
Molti dei siti sopra citati ignorano il robots.txt .

quali siti ?

[Manuel.s]

tra i vari user agent ho trovato questo

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

che sembrerebbe il bot di google che pero pensavo fosse questo
Googlebot/2.1 (+http://www.google.com/bot.html)

che vuol dire secondo voi?

[assia]

Il problema è uno oslo.
Molti dei siti sopra citati ignorano il robots.txt .

E oltretutto sono in grado di "impersonare" browser o user agent a scelta, come ad esempio Teleport.