per ora ho creato uno script che si appoggia allo spider di atomz.
Cioè faccio scannerizare da atomz il mio sito e grazie al contatore di accessi che ho creato ho anche la lista delle pagine che sono state visitate da atomz. esempio:
<?php
// Assuming the above tags are at www.example.com
$db=mysql_connect('host','user','pass');
$query="SELECT * FROM visite WHERE id='id dellaq visita di atomoz'";
$result=mysql_db_query("statistiche",$query,$db);
$ris=mysql_result($result,0,'pagine_viste');
$pagine_viste=explode(' * ',"$ris");//questo perchè il contatore aggiorna il campo aggiungendo la pagina vista più *
$n=count($pagine_viste);
for($i=0;$i<$n;$i++){
echo ''.$i.'<a href=\'http://'.$_SERVER['HTTP_HOST'].$pagine_viste[$i]."'>$pagine_viste[$i]</a>
";
$pagina="http://".$_SERVER['HTTP_HOST'].$pagine_viste[$i];
$tags = get_meta_tags("$pagina");
$nomefile="$pagina";
$apri = fopen($nomefile, "r");
do {
$data=fread($apri, 8190);
if (strlen($data) == 0) {
break;
}
$testo.=$data;
} while (true);
$file = fopen ("$nomefile", "r");
if (!$file) {
echo "
Impossibile aprire il file remoto.\n";
}
while (!feof ($file)) {
$linea = fgets ($file, 1024);
/* Funziona solo se title e i relativi tag sono sulla medesima riga */
if (eregi ("<title>(.*)</title>", $linea, $out)) {
$titolo[$i] = $out[1];
break;
}
}
fclose($file);
$key[$i]=$tags['keywords']; // php documentation
$descrizione[$i]=$tags['description']; // a php manual
$string[$i]=strip_tags($testo);
$key[$i].=eregi_replace("function(.+)\}",'',$string);
$percorso[$i]=$pagine_viste[$i];
}
echo"<h1>Fine lettura</h1>";
?>
<?
for($i=0;$i<268;$i++){
$sql="INSERT INTO $tabl (nome,descrizione,word,percorso) VALUES('".$titolo[$i]."','".$descrizione[$i]."','".$key[$i]."','".$percorso[$i]."')";
mysql_db_query("sito",$sql,$db);}
echo"<h1>Fine inserimento</h1>";
?>
