Visualizzazione dei risultati da 1 a 8 su 8

Discussione: come creare un robot?

  1. #1

    come creare un robot?

    come dicevo nell'oggetto dovrei creare un robot.
    Spiego meglio ho creato un motore di ricerca ma ora vorrei creare anche uno spider che mi indicizza tutte le pagine come posso fare?

  2. #2

  3. #3
    vai su

    HotScripts.com - risultati della ricerca di spider

    è il sito Hot Scripts, c'è un sacco di roba bisogna avere solo un po' di pazienza e cercare cosa veramente ti interessa.

    Ciao
    Make Pazziata-tàààà NOT war!

  4. #4
    per ora ho creato uno script che si appoggia allo spider di atomz.

    Cioè faccio scannerizare da atomz il mio sito e grazie al contatore di accessi che ho creato ho anche la lista delle pagine che sono state visitate da atomz. esempio:

    Codice PHP:

    <?php
    // Assuming the above tags are at [url]www.example.com[/url]
    $db=mysql_connect('host','user','pass');
    $query="SELECT * FROM visite WHERE id='id dellaq visita di atomoz'";
    $result=mysql_db_query("statistiche",$query,$db);
    $ris=mysql_result($result,0,'pagine_viste');
    $pagine_viste=explode(' * ',"$ris");//questo perchè il contatore aggiorna il campo aggiungendo la pagina vista più *

    $n=count($pagine_viste);
    for(
    $i=0;$i<$n;$i++){

    echo 
    '[b]'.$i.'[/b]<a href=\'http://'.$_SERVER['HTTP_HOST'].$pagine_viste[$i]."'>$pagine_viste[$i]</a>
    "
    ;
    $pagina="http://".$_SERVER['HTTP_HOST'].$pagine_viste[$i];

    $tags get_meta_tags("$pagina");
    $nomefile="$pagina"
    $apri fopen($nomefile"r"); 
    do { 
    $data=fread($apri8190);
    if (
    strlen($data) == 0) { 
    break; 

    $testo.=$data;
    } while (
    true); 

    $file fopen ("$nomefile""r");
    if (!
    $file) {
        echo 
    "

    Impossibile aprire il file remoto.\n"
    ;
      }
    while (!
    feof ($file)) {
        
    $linea fgets ($file1024);
        
    /* Funziona solo se title e i relativi tag sono sulla medesima riga */
        
    if (eregi ("<title>(.*)</title>"$linea$out)) {
            
    $titolo[$i] = $out[1];
            break;
        }
    }
    fclose($file);

    $key[$i]=$tags['keywords'];     // php documentation
    $descrizione[$i]=$tags['description'];  // a php manual
    $string[$i]=strip_tags($testo);
    $key[$i].=eregi_replace("function(.+)\}",'',$string);
    $percorso[$i]=$pagine_viste[$i];
    }
    echo
    "<h1>Fine lettura</h1>";
    ?> 
    <?
    for($i=0;$i<268;$i++){
    $sql="INSERT INTO $tabl (nome,descrizione,word,percorso) VALUES('".$titolo[$i]."','".$descrizione[$i]."','".$key[$i]."','".$percorso[$i]."')";
    mysql_db_query("sito",$sql,$db);}
    echo
    "<h1>Fine inserimento</h1>";
    ?>

  5. #5
    Quindi mi serve solo fare uno script che mi scannerizza tutti i link del sito, non voglio scaricare uno gia fatto.aiutoooooooo!!!

  6. #6

  7. #7
    cerca nel forum c'era una discussione sugli spider con del codice di guidoz (? mi pare)

  8. #8

Permessi di invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
Powered by vBulletin® Version 4.2.1
Copyright © 2024 vBulletin Solutions, Inc. All rights reserved.