PDA

Visualizza la versione completa : Creazione Spider


jubin
02-12-2002, 07:54
Ciao a tutti. E' il mio primo post in questa sezione del forum...
Benvenuto... :D
Cmq ho postato perche' sono arrivato ad un problema che non sono in grado di risolvere da solo... ed il problema non e' poi piccolissimo: nelle ultime settimane mi sono messo tutto sulla costruzione di un motore di ricerca nel linguaggio che piu' uso, cioe' il PHP. Esso funziona alla grande, ed e' anche aggregato ad una serie di altri servizi carini. Ora pero' il problema: il mio motore di ricerca ricerca nel DataBase mysql sui dati inseriti dai vari webmasters, ma visto che io sto cercando di creare un motore di ricerca un po' potente mi sono accorto di aver bisogno di uno Spider. Ora o cercato nella rete senza trovare nulla di che', ho visto un buono script di VirusBye in http://freephp.html.it ma che indicizza su files ".dat" e funziona in DOS. Ora non c'e' problema per me sul linguaggio, qualunque che funzioni bene e' ok per me... ma aiutatemi, please... nessuno ha uno spider che mi permetta di andare tra specifiche pagine (url inseriti in un db precedentemente) e di indicizzarle, seguendo i links ed indicizzando le relative pagine eccetera, e di inserirle dunque in un DataBase? Tutto questo gestibile con PHP, visto che non so nulla di nessun linguaggio al difuori di esso, e naturalmente PHP...?? Scusate... mi mancava solo la richiesta di una fetta di culo, lo so... ma perfavore, aiutatemi!
Grazie per la disponibilita',
spero che qualcuno sia sopravvissuto a tutta questa straziante descrizione!

santal
02-12-2002, 09:40
Normalmente lo spider è un programma compilato che gira per il web partendo da un url specificato. Noi l'abbiamo già realizzato.
Lo spider ti riempe un Database, che poi andrai ad interrogare con il php o con qualsiasi altro linguaggio.

Ciao

Brolli
02-12-2002, 15:04
Originariamente inviato da santal
Normalmente lo spider è un programma compilato che gira per il web partendo da un url specificato. Noi l'abbiamo già realizzato.
Lo spider ti riempe un Database, che poi andrai ad interrogare con il php o con qualsiasi altro linguaggio.

Ciao

Con che linguaggio l'avete creato?:confused:

jubin
02-12-2002, 18:19
hi sarebbe il certo Noi che l'ha creato??
Eppoi... posso trovarlo in rete da qualche parte... e' open sorcio?? :D
Scusami tanto, ma come gia' detto non e' che io frequenti questo Forum percio' non e' sappia molto dei vostri progetti di forum... ok e' probabile che abbia sparato la ca22ata del giorno.
Ciao ciao, e grazie per la disponibilita'!

P.S. Brolli... chi si rivede :gren: :dhò: :D :dhò: :gren:

santal
02-12-2002, 22:16
Noi = 'io e il mio socio' abbiamo realizzato lo spider per vari progetti:
1) per cercare pezzi di testo (leggisi email) nel web
2) per indicizzare dei siti interi partendo da un url inserito all'inizio. In pratica lo spider girerebbe all'infinito perchè trova i link, naviga e memorizza.
Quello che abbiamo realizzato noi indicizza i siti e fa la cache, proprio come Google, evidenziando la ricerca con l'evidenziatore.
La consultazione dei risultati attualmente avviene sempre tramite il programma (perché ci serviva così) ma nulla vieta di interrogare il db creato attraverso il web.
E' stato realizzato in Vb quindi no multi-thread e perciò le prestazioni sono migliorabili.
Però per obiettivi medi va benissimo, certo se vuoi indicizzare l'intero web come Google allora ne devi lanciare a decine su computer diversi...

Open source? :nonono:

Ciao

jubin
03-12-2002, 03:45
Niente speranze di averlo??
Be' allora non e' che mi possa servire molto!

P.S. Ho visto webbificio.com nel tuo curriculum... in pratica l'hai costruito tu? Complimenti... e' un sito abbastanza carino, per qualche mese ho anche usato i suoi servizi... ciao ciao!

santal
03-12-2002, 06:44
Si Jubin, siamo noi di Webbificio ad aver realizzato lo spider.

Ho cercato di darti qualche dritta ma capisci che non posso darti i sorgenti :D anche perché c'è tanto lavoro dietro ;)

Ciao

Brolli
03-12-2002, 14:12
Io invece sono per lo spirito Open Source :D

jubin
03-12-2002, 19:58
Originariamente inviato da Brolli
Io invece sono per lo spirito Open Source :D
Cmq anche io... soprattutto ora che mi fa comodo... apriamoli tutti sti sorci!

Brolli
03-12-2002, 20:40
E le sorce????:confused: :p :dottò: :quipy: :fagiano: :stordita: :D

Loading