Originariamente inviato da dottwatson
senza parlare della semantica...
Mi sono ben guardato dal tirare in ballo questo problema. Google sa davvero troppo...

Tornando all'algoritmo. Se deve esaminare le parole chiave:

0) il programma parte solo se il link in esame non è già presente nel DB e solo se il database non contiene già troppe pagine (es. 10.000?)
1) carica la pagina ( $pg=include("./ok.html"); ).
2) archivia nel db il link alla pagina e le parole chiave contenute nel metatag specifico.
3) analizza il body della pagina cercando i link (<a href="">).
4) per ogni link lanci un'altra volta il programma facendolo partire dal corrente link

---

A questo punto con le query mysql puoi interrogare il tuo DB alla ricerca di parole chiave.