Ciao a tutti dovrei creare un web spider in grado di essere eseguito anche per ore o giornate senza interruzioni.
Lo spider girerebbe su in Mac o un pc UNIX in locale. Poi una volta al giorno Il database remoto sul web server verrebbe aggiornato con il db locale.
Quale linguaggio scegliereste ?
Io pensavo a Python, Perl o Php ma non sapendo se si prestano ad essere eseguiti per pre valuto anche delle alternative.
Grazie
Credo che tutti e tre i linguaggi che indichi vadano bene, dato che forniscono strumenti per scaricare le pagine e interfacciarsi con un DB, e in ogni caso, anche se non sono il massimo dal punto di vista delle performance, non ha alcuna importanza, dato che in un web spider il collo di bottiglia in genere è la rete.
Amaro C++, il gusto pieno dell'undefined behavior.
in linea di massima sono daccordo anch'io ma se dovessi scegliere sceglierei python.
Perl come linguaggio, sintassi ecc. non mi piace ma è un personalissimo parere (forse anche abbastanza condiviso). Php lo escluderei per via della dipendenza con apache, un programma che deve girare per ore su un sistema che è concepito per servire richieste http in un certo lasso di tempo la vedo un po' come una forzatura. Non che non si possa fare ma di certo non è la via piu veloce secondo me.
Pyton o java imho.
Volendo ci sono progetti per compilare PHP per JVM o CLR, non mi ricordo se ce ne sono addiritura come codice nativo...Originariamente inviato da rsdpzed
in linea di massima sono daccordo anch'io ma se dovessi scegliere sceglierei python.
Perl come linguaggio, sintassi ecc. non mi piace ma è un personalissimo parere (forse anche abbastanza condiviso
Pyton o java imho.
In ogni caso questa è un'altra storia...
"Quid enim est, quod contra vim sine vi fieri possit?" - Cicerone, Ad Familiares
non escludere bash crontab, awk.
php puoi usarlo anche senza Apache:
codice:$ php -r 'echo "Hello World!\n";' Hello World!
Anch'io, ma perché lo conosco meglio e lo preferisco agli altri due linguaggi citatiOriginariamente inviato da rsdpzed
in linea di massima sono daccordo anch'io ma se dovessi scegliere sceglierei python.; per il resto, direi che per un compito del genere pressoché si equivalgono, e il fattore fondamentale per la scelta diventa più che altro il livello di conoscenza di tali linguaggi, ed eventualmente, se lo spider deve eseguire elaborazioni particolari sui dati raccolti, dall'esistenza di librerie che le facilitino in un linguaggio o nell'altro. Le medesime considerazioni si applicano credo più o meno a tutti gli altri strumenti citati.
Amaro C++, il gusto pieno dell'undefined behavior.
devo ammettere che non ero a conoscenza di questa possibilità, chiedo venia.Originariamente inviato da MacApp
non escludere bash crontab, awk.
php puoi usarlo anche senza Apache:
codice:$ php -r 'echo "Hello World!\n";' Hello World!
Pensavo anche io a PythonOriginariamente inviato da rsdpzed
in linea di massima sono daccordo anch'io ma se dovessi scegliere sceglierei python.
Perl come linguaggio, sintassi ecc. non mi piace ma è un personalissimo parere (forse anche abbastanza condiviso
Pyton o java imho.
Le basi di python sono semplici da apprendere, la sintassi (se sei abituato ad identare decentemente) è molto semplice e sembra che il linguaggio voglia farsi imparare...Originariamente inviato da jr1980
Pensavo anche io a Python
"Quid enim est, quod contra vim sine vi fieri possit?" - Cicerone, Ad Familiares
In sostanza posso eseguire un file es. Miospider.php direttamente da linea di comando ? Come fosse un applicazione classica? Funziona anche su Mac ? corro a documentarmiOriginariamente inviato da MacApp
non escludere bash crontab, awk.
php puoi usarlo anche senza Apache:
codice:$ php -r 'echo "Hello World!\n";' Hello World!
Permessi di invio
Rispondi quotando