PDA

Visualizza la versione completa : come creare un robot?


 
carmineabomb
17-06-2004, 15:31
come dicevo nell'oggetto dovrei creare un robot.
Spiego meglio ho creato un motore di ricerca ma ora vorrei creare anche uno spider che mi indicizza tutte le pagine come posso fare?

carmineabomb
17-06-2004, 16:02
nessuno sa avviarmi a questo script?

Zingaro2002
17-06-2004, 16:53
vai su

HotScripts.com - risultati della ricerca di spider (http://www.hotscripts.com/cgi-bin/search.cgi?bool=AND&query=spider&catid=all)

il sito Hot Scripts, c' un sacco di roba bisogna avere solo un po' di pazienza e cercare cosa veramente ti interessa.

Ciao :ciauz: :ciauz:

carmineabomb
17-06-2004, 16:57
per ora ho creato uno script che si appoggia allo spider di atomz.

Cio faccio scannerizare da atomz il mio sito e grazie al contatore di accessi che ho creato ho anche la lista delle pagine che sono state visitate da atomz. esempio:




<?php
// Assuming the above tags are at www.example.com
$db=mysql_connect('host','user','pass');
$query="SELECT * FROM visite WHERE id='id dellaq visita di atomoz'";
$result=mysql_db_query("statistiche",$query,$db);
$ris=mysql_result($result,0,'pagine_viste');
$pagine_viste=explode(' * ',"$ris");//questo perch il contatore aggiorna il campo aggiungendo la pagina vista pi *

$n=count($pagine_viste);
for($i=0;$i<$n;$i++){

echo ''.$i.'<a href=\'http://'.$_SERVER['HTTP_HOST'].$pagine_viste[$i]."'>$pagine_viste[$i]</a>
";
$pagina="http://".$_SERVER['HTTP_HOST'].$pagine_viste[$i];

$tags = get_meta_tags("$pagina");
$nomefile="$pagina";
$apri = fopen($nomefile, "r");
do {
$data=fread($apri, 8190);
if (strlen($data) == 0) {
break;
}
$testo.=$data;
} while (true);

$file = fopen ("$nomefile", "r");
if (!$file) {
echo "

Impossibile aprire il file remoto.\n";
}
while (!feof ($file)) {
$linea = fgets ($file, 1024);
/* Funziona solo se title e i relativi tag sono sulla medesima riga */
if (eregi ("<title>(.*)</title>", $linea, $out)) {
$titolo[$i] = $out[1];
break;
}
}
fclose($file);

$key[$i]=$tags['keywords']; // php documentation
$descrizione[$i]=$tags['description']; // a php manual
$string[$i]=strip_tags($testo);
$key[$i].=eregi_replace("function(.+)\}",'',$string);
$percorso[$i]=$pagine_viste[$i];
}
echo"<h1>Fine lettura</h1>";
?>
<?
for($i=0;$i<268;$i++){
$sql="INSERT INTO $tabl (nome,descrizione,word,percorso) VALUES('".$titolo[$i]."','".$descrizione[$i]."','".$key[$i]."','".$percorso[$i]."')";
mysql_db_query("sito",$sql,$db);}
echo"<h1>Fine inserimento</h1>";
?>

carmineabomb
17-06-2004, 17:04
Quindi mi serve solo fare uno script che mi scannerizza tutti i link del sito, non voglio scaricare uno gia fatto.aiutoooooooo!!! :dh:

carmineabomb
17-06-2004, 18:29
Attendo vostre risposte anche in Pvt o E-mail

Eyescream
17-06-2004, 18:33
cerca nel forum c'era una discussione sugli spider con del codice di guidoz (? mi pare)

carmineabomb
17-06-2004, 18:52
grazie ora provo a fare una ricerca

Loading