Da farlo interno, puoi anche usare la ricerca di directory, e per i vari meta tag come robots e keyword, esiste questa funzione: http://it.php.net/manual/it/function.get-meta-tags.php