Ragazzi in un futuro non troppo remoto temo che dovrò sviluppare dei piccoli spider che mi dovranno recuperare dei dati da una 40 di siti (in realtà in ciascun sito saranno 3 o 4 pagine da scandagliare) e dovrò memorizzare questi dati in un db di mia proprietà.
Volevo iniziare ad affrontare con calma il discorso spider in PHP quali sono gli attrezzi del mestiere ?!!?
Qualche articolo/risorsa utile ? in inglese va benissimo !
Qualche parere di chi ci è già passato sarebbe ORO !
grazie a tutti
Personalmente utilizzo le funzioni CURL e le espressioni regolari.
Per progetti particolari mi è capitato di utilizzare anche TIDY + DOM + XPATH / XSLT per eseguire il parsing e l'estrazione dei dati.
Tutto dipende da quello che devi fare.
penso di essere abbastanza agevolato perchè le pagine sulle quali dovrò lavorare le conoscerò a priori non dovrò quindi setacciare la rete a casaccio rischiando strane sorprese
inoltre non dovrò recuperare una grossa mole di dati tutt'altro
per contro l'idea è quella di avere uno "spider" personalizzato per ciascuno di questi siti !
e altra cosa da controllare ovviamente saranno eventuali modifiche alla pagina analizzata !
pensi sia un lavoro che con CURL e Regular Expression si può fare ?
A mio parere, non dovresti incontrare problemi.Originariamente inviato da brutusin
pensi sia un lavoro che con CURL e Regular Expression si può fare ?
Ti consiglio anke io CURL e RegEx... ho fatto un sito di confronti di tariffe di cellulari così, dove le pagine sono fatte per non essere "grabbate" e sono riuscito a far tutto, quindi non dovresti avere problemi!Originariamente inviato da filippo.toso
Personalmente utilizzo le funzioni CURL e le espressioni regolari.
Per progetti particolari mi è capitato di utilizzare anche TIDY + DOM + XPATH / XSLT per eseguire il parsing e l'estrazione dei dati.
Tutto dipende da quello che devi fare.
grazie ragazzi
da dove siete partiti ?!!?
qualche risorsa che può tornarmi utile ?
qualche requisito indispensabile per poter operare ?
Ti consiglio di dare uno sguardo a questo libro:
http://www.simonecarletti.it/blog/20...ni-della-rete/
Gli esempi sono molto basilari e spesso tanto didattici quanto poco ottimizzati, tuttavia potrebbe darti diversi spunti utili.
Permessi di invio
Rispondi quotando