Ciao,
vorrei sapere se esiste qualche risorsa per creare uno spider con php.
Ciao,
vorrei sapere se esiste qualche risorsa per creare uno spider con php.
"La grandezza dell'uomo si misura in base a quel che cerca e all'insistenza con cui egli resta alla ricerca".
Vi spiego meglio cosa mi occorre.
Io ho in mente uno strumento che esegue la ricerca e l'indicizzazione di alcuni documenti rispetto ad alcune risorse web predefinite.
La prima cosa alla quale penso è il mondo delle offerte di lavoro.
Ho alcune fonti: jobpXXX, stepXXXX, ecc e su queste il mio spider cerca ogni giorno le nuove offerte, le indicizza (con dei metadati) e le copia in un db.
Spero che qualcuno possa darmi qualche dritta..
"La grandezza dell'uomo si misura in base a quel che cerca e all'insistenza con cui egli resta alla ricerca".
beh...credo che innanzi tutto devi avere in mente, strutturalmente, cosa devi fare...
quindi...
1° Acquisire la lista di pagine da leggere raggruppate per categoria
2° Ciclare le pagine contenute in ogni categoria
3° Acquisire la pagina HTML
4° Estrarre i dati che interessano
5° Ordinarli tramite appositi algorittimi
6° Inserirli nel database in modo strutturato
7° Tornare al passo 3 fino a quando tutte le pagine di uno specifico gruppo non sono state analizzate
8° Tornare al passo 2 fin quando tutti i gruppi non sono stati elaborati
a questo punto "lo spider" è completato
www.php.net/file
www.php.net/pcre
www.php.net/array
www.php.net/mysql
qui c'è tutto quello che ti serve olter alla sintassi base
PS: consiglio importante...devi mettere tutto in degli array e poi inserisci quando hai tutti i dati in modo che separi nettamente le tue parti e puoi inserire informazioni aggiuntive che estrai dall'insieme dei dati contenuti nei vari array
VM su SSD da 5$! https://www.digitalocean.com/?refcode=f6925c7f0ddb
Rifletterò un po' sui tuoi punti.
Per il momento ti ringrazio!
"La grandezza dell'uomo si misura in base a quel che cerca e all'insistenza con cui egli resta alla ricerca".
Permessi di invio
Rispondi quotando