Salve a tutti!
Devo dire la verità mi stò divertendo molto a creare lo spider del mio motore...se cosi si può chiamare (Solo per ora.... )...
Visto che non vorrei copiare google, cioè nel senso, indicizzare più o meno i file come li indicizza lui....
Vorei fare una cosa diversa...ditemi se potrebbe essere una cosa fattibile o na cavolata immane...
Allora un webmaster ha il suo bel sito...e fino a qui non ci piove...nella root del suo sito, inserirà una file (es. spider.html)
un file che dentro dovrà contenere delle regole...che vi andrò descrivendo...
ESEMPIO:----------E' ANCORA IN VIA DI SPERIMENTAZIONE
[SITO] http://www.prova.it/
[ARGOMENTI] programmazione java, costruzione pagine web, database (in poche parole dovranno essere inseriti gli argomenti che tratta quella specifica pagina)
[EMAIL] prova@prova.it << NON OBLIGATORIO

e cosi via dicendo....

[SITO] http://www.prova.it/forum/
[ARGOMENTI] discussioni, etc etc etc
[EMAIL] pippo@pippo.it

cosi il mio spider, leggerà questa pagina e si salverà i risultati...
Dite che è una cavolata....???
Cosi invece di analizzare tutto il sito...si analizzerebbe solo quel file....no???

UCCIDETEMI!