Visualizzazione dei risultati da 1 a 5 su 5
  1. #1

    Un crawler per pagine web, dove lo pesco?

    Salve a tutti.
    Lo so perfettamente che è una domanda folle. Ma esiste per caso da qualche parte un programma freeware che faccia da bot per motore di ricerca? Una volta avevo provato a metterne su uno, così, per gioco. Inutile inutilissimo dire che non ha funzionato, perchè avevo cercato di programmarmi da solo un motore di ricerca distribuito: faticaccia e non funzionava (tra l'altro l'avevo scritto in Javascript, ma era un macello lo stesso). Ora, mi chiedo: esiste un programma che faccia da bot in automatico, indicizzi le pagine web, prenda i link ad altre pagine web, indicizzi pure quelle e così via mettendo tutti i risultati in un bravo database mysql? Non esiste, vero? Vorrebbe dire che sono fortunato, quindi impossibile!

    Grazie mille!!
    Araganaus

  2. #2
    Utente di HTML.it L'avatar di alkat
    Registrato dal
    Jan 2004
    Messaggi
    4,189
    Può interessarti questo?
    http://sourceforge.net/projects/archive-crawler

    L'ho trovato con una ricerca veloce su SourceForge ma non so effettivamente come funzioni.
    Passa a Windows, Linux, Mac, BSD, Atari, Amiga, Unix o alle schede perforate. Fa come ti pare.
    ***
    "There's probably no God. Now stop worrying and enjoy your life" - Atheist Bus in England

  3. #3

    Re: Un crawler per pagine web, dove lo pesco?

    Originariamente inviato da Araganaus
    Salve a tutti.
    Lo so perfettamente che è una domanda folle. Ma esiste per caso da qualche parte un programma freeware che faccia da bot per motore di ricerca? Una volta avevo provato a metterne su uno, così, per gioco. Inutile inutilissimo dire che non ha funzionato, perchè avevo cercato di programmarmi da solo un motore di ricerca distribuito: faticaccia e non funzionava (tra l'altro l'avevo scritto in Javascript, ma era un macello lo stesso). Ora, mi chiedo: esiste un programma che faccia da bot in automatico, indicizzi le pagine web, prenda i link ad altre pagine web, indicizzi pure quelle e così via mettendo tutti i risultati in un bravo database mysql? Non esiste, vero? Vorrebbe dire che sono fortunato, quindi impossibile!

    Grazie mille!!
    Araganaus
    Vuoi indicizzare tutti i siti del mondo?

    Ma lo sai che è un lavoraccio come banda e ti serviranno milioni di TB di disco?
    Main: Asus P5KR | Intel Q6600 G0 @ 3.6GHz | Kingston 2x1GB DDR-II @ 800MHz | POV GeForce 8800GT 512MB | Seagate Barracuda 7200.11 32MB 2x500GB RAID0 | Enermax Chakra 3052BS | Enermax Liberty 500W | Zerotherm Nirvana NV120 Premium || eee PC || Net: Atlantis Land WebShare 340 | Alice 19M/1M || Gentoo Linux | gtk-gnutella rulezz.

  4. #4
    Utente di HTML.it L'avatar di moskitoita
    Registrato dal
    Feb 2004
    Messaggi
    1,255
    Esiste htdig, non usa un database mysql ma è potenzialmente in grado di indicizzare l'intero web (TB permettendo)
    "Aiuterò le forze dell'ordine a sventrare eventuali truffatori, eventuali assassini che abbiano utilizzato l'informatica per fini malvagi"

    Salvatore Aranzulla, 15 Aprile 2007, cognome&nome, La7

  5. #5
    Cercando un po'ho trovato anche http://swish-e.org/

    Funziona con MySQL, ma non sono sicuro che funzioni da vero e proprio crawler...
    Main: Asus P5KR | Intel Q6600 G0 @ 3.6GHz | Kingston 2x1GB DDR-II @ 800MHz | POV GeForce 8800GT 512MB | Seagate Barracuda 7200.11 32MB 2x500GB RAID0 | Enermax Chakra 3052BS | Enermax Liberty 500W | Zerotherm Nirvana NV120 Premium || eee PC || Net: Atlantis Land WebShare 340 | Alice 19M/1M || Gentoo Linux | gtk-gnutella rulezz.

Permessi di invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
Powered by vBulletin® Version 4.2.1
Copyright © 2025 vBulletin Solutions, Inc. All rights reserved.