Creazione di un nuovo spider

[edark]

Salve a tutti!
Devo dire la verità mi stò divertendo molto a creare lo spider del mio motore...se cosi si può chiamare (Solo per ora.... )...
Visto che non vorrei copiare google, cioè nel senso, indicizzare più o meno i file come li indicizza lui....
Vorei fare una cosa diversa...ditemi se potrebbe essere una cosa fattibile o na cavolata immane...
Allora un webmaster ha il suo bel sito...e fino a qui non ci piove...nella root del suo sito, inserirà una file (es. spider.html)
un file che dentro dovrà contenere delle regole...che vi andrò descrivendo...
ESEMPIO:----------E' ANCORA IN VIA DI SPERIMENTAZIONE
[SITO] http://www.prova.it/
[ARGOMENTI] programmazione java, costruzione pagine web, database (in poche parole dovranno essere inseriti gli argomenti che tratta quella specifica pagina)
[EMAIL] prova@prova.it << NON OBLIGATORIO

e cosi via dicendo....

[SITO] http://www.prova.it/forum/
[ARGOMENTI] discussioni, etc etc etc
[EMAIL] pippo@pippo.it

cosi il mio spider, leggerà questa pagina e si salverà i risultati...
Dite che è una cavolata....???
Cosi invece di analizzare tutto il sito...si analizzerebbe solo quel file....no???

UCCIDETEMI!

[CiodoF]

Il mondo è bello perchè è vario, ma obbligare i webmaster, seo o chi si occupa di web a realizzare un file apposito che contiene le informazioni sull'indicizzazione, oltre alla già beghe che anno per i contenuti delle pagine, eventuali file robots.txt e cose varie, mi sembra un po' di difficile successo.

Ma, cosa vuoi, il mondo è bello perchè vario, c'è caso che col tempo la tua idea/proposta prenda campo, ma ora come ora "non vedo alcuna luce alla fine del tunnel".

[edark]

dici
che tristezza

qualcun'altro....

[borgorosso]

più che altro credo che il problema sia sempre nello spam

è una cosa che va bene se gestisci un numero minimo di siti.

<OT> In che modo stai realizzando il tuo spider? </OT>

:metallica

[edark]

xke spam???
Dici che i webmaster in [ARGOMENTI] inseriscono cose che non fanno parte del loro sito solo per attirare utenti???

Per ora lo stò realizzando in java...con i thread cosi lancio 40-50 scansioni nello stesso momento....

[CiodoF]

Inoltre quel file servirebbe solo per l'indicizzazione e potrebbe non avrebbe niente a che fare con i contenuti del sito, quindi essere usato per spam come dice borgorosso.

[weppos]

Originariamente inviato da edark
Dici che i webmaster in [ARGOMENTI] inseriscono cose che non fanno parte del loro sito solo per attirare utenti???

L'hai detto. :adhone:

[Shiftzero]

Originariamente inviato da weppos
L'hai detto. :adhone:

Concordo e mi ci gioco quello che vuoi...

[coto86]

Originariamente inviato da Shiftzero
Concordo e mi ci gioco quello che vuoi...

Sarei il primo, se il motore di ricerca sarebbe abbastanza usato, a comprare una lista di domini, per farmi indicizzare in tutte le keyword possibili e immaginabili.

[PiccoloElfo]

Originariamente inviato da coto86
Sarei il primo, se il motore di ricerca sarebbe abbastanza usato, a comprare una lista di domini, per farmi indicizzare in tutte le keyword possibili e immaginabili.

Sarei il primo, se il motore di ricerca FOSSE abbastanza usato...