Evitare che tool automatizzati possano interrogare un dizionario

[vangelis1977]

Ciao a tutti,
Un cliente vuole offrire un proprio dizionario online, però ha paura che con qualche tool automatico si possano
prendere tutto il contenuto, parola per parola. Attualmente viene fatto un controllo dell'ip, vengono validati dei token generati casualmente e dopo ogni n richieste viene richiesto il captcha.
Per alcuni problemi di ottimizzazioni seo sarebbe meglio togliere il captcha e token, però sto cercando una soluzione che possa proteggere i dati in maniera robusta.

Il database ed il frontend sono macchine separate:
https
[ http ] <----->[postgresql ]

Entro meglio nel dettaglio, attualmente ad ogni interrogazione:

1) Verifico quante interrogazioni ha fatto questo ip
2) Se sono state fatte n richieste viene chiesto il captcha
3) viene Generato un token dal server postgresql
4) Il server http risponde con il token e la rielaborazione
5) Il server postresql attende il token rielaborato per n secondi e restituisce la parola,
altrimenti da errore.

La necessità di passare token e altre informazioni portano ad avere url per nulla ottimizzati per il seo.

Avete qualche suggerimento per poter sostituire questi controlli? Pensate che si possa usare qualche tecnologia in particolare?
Grazie mille
Stefano
Stefano

[Walessio]

Gli url potresti semplificarli con un mod_rewrite traducendoli in url seo-friendly.

Il fatto che attendi un certo numero di interrogazioni per fare il test captcha significa che comunque, finchè non fai il test un ipotetico bot riesce a fare le interrogazioni del caso.

Io al tuo posto farei un processo di controllo in questo modo:
1: verifico se l'ip è presente nel database con una sessione attiva (non scaduta)
2: se non lo è, gli faccio il test captcha, se lo supera, registro una sessione relativa a quell'utente memorizzo nel database il PHPSESSID, e l'indirizzo IP.
3: finchè la sessione utente è attiva l'utente umano può proseguire la ricerca.
4: per essere più sicuro rifaccio periodicamente il test captcha e comunque lo rifaccio quando scade la sessione.

[Alhazred]

Ormai i bot stanno diventando efficientissimi a superare i captcha con le parole da leggere e riscrivere.
Sono molto più efficienti le meno evolute richieste di rispondere ad una domanda, perché i bot non sanno leggere.
Ovviamente la domanda deve essere veramente stupida, in modo che chiunque sappia rispondere.

Verificare periodicamente che la sessione sia attiva non risolve molto, un bot non la lascerebbe scadere facendo molte richieste in poco tempo.
Piuttosto verificherei che uno stesso IP non faccia più di tot richieste in un certo tempo, ad esempio se ti arriva più di una richiesta al secondo, molto difficilmente si tratta di una persona che scrive la parola e da invio, ma anche con una ogni 2 secondi difficilmente si tratta di una persona, comunque sta a te valutare.

Se adotti questa seconda strategia, puoi anche fare a meno del captcha.

[Walessio]

Se usi i captcha classici e precotti di sicuro ma nulla ti vieta di usare un controllo captcha che esce dagli schemi

[Alhazred]

Io me ne sono fatti anche da solo, quindi niente di conosciuto in giro, all'inizio andava, poi ho iniziato ad essere bombardato ugualmente.

Da mesi ho messo un controllo del tipo "x + y = ?", non ho più ricevuto un messaggio da un bot.

[Walessio]

Giusto per curiosità, era un captcha che prevedeva lo scrivere dei caratteri deformati o qualcosa di diverso?

[Alhazred]

Ho provato sia solo caratteri deformati che caratteri deformati e con linee sopra, anche con basso contrasto tra scritte e sfondo, roba che un daltonico non ci avrebbe indovinato... tutto inutile.

[Walessio]

Capisco, io mi sono inventato un'altro trucco, tuttavia proverò anche il tuo ^^

[Alhazred]

Puoi dire qual è il tuo trucco?

[Walessio]

Numeri casuali bicolore, all'utente viene chiesto digitare solo le cifre di uno dei due colori