Creazione crawler o simile

[robinthechamp]

Come faccio a "scandagliare" la rete, eventualmente con qualche criterio, e memorizzare quanto trovato in un database??
grazie dei contributi
robin

[weppos]

Cambia linguaggio prima cosa.
ASP non è appropriato per simili lavori.

Ci vuole un linguaggio di programmazione puro, ad esempio vb, c, c# etc.

[rixx]

in realtà anche se hai ragione lo puoi fare in asp(dipende con che scopo lo vuoi usare)...

ciao MR Google

[weppos]

Originariamente inviato da rixx
in realtà anche se hai ragione lo puoi fare in asp(dipende con che scopo lo vuoi usare)...

ciao MR Google

Non ho detto che non si può fare, ma sarebbe come dire... devo costruirmi una casa con i LEGO, come si fa?
Risposta: usa i mattoni, è meglio.

[robinthechamp]

Originariamente inviato da rixx
in realtà anche se hai ragione lo puoi fare in asp(dipende con che scopo lo vuoi usare)...

ciao MR Google

che tipo di "scopi" intendi?? il mio è di trovare un po' di siti di una stessa città (parola chiave, ad esempio, Roma) e crearmi un database con tutti i siti che hanno a che fare con roma:
prendere di ogni sito il titolo, il link, la descrizione e le keyworld....
siccome sto lavorando in asp, se si riuscisse a mantenere questo linguaggio....
mi spieghi la tua idea?? grazie
roberto

[cristiano1972]

Mi accodo alla richiesta iniziale di questo Post,
ma vi spiego di preciso cosa vorrei realizzare (anche se è stato detto che ASP non è il linguaggio più indicato) penso che per la portata di indice che devo creare possa bastare.

Ho realizzato un motore di ricerca che deve indicizzare solo siti con alcune parole chiave:
Romagna, Emilia Romagna ETC...
In sostanza è una directory per la Romagna.

Attualmente la parte che restituisce i risultati è a posto, anche la sezione di Submit
lavora bene in manuale, essa estrae dall'URL in automatico:
Titolo
Descrizione
Keyword.

Sarebbe molto comodo che da solo possa scandagliare la rete per estrarre siti inerenti alle
esigenze sopra elencate con l'ausiglio di uno pseudo crawler!
Ho a disposizione un server IIS sempre connesso dove posso eseguire script.

Ora, non so se quello che chiedo sia fattibile o possibile, ma in questo forum ho sempre avuto gente in gamba che è riuscita a soddisfare le mie richieste.

Attendo con speranza.

[santino83_11_04]

a me sembra tanto che stiate cercando di fare come google...perchè non ti recuperi i siti restituiti da google o altri motori di ricerca usando le parole chiave che ti interessano?

[cristiano1972]

Infatti da quando ho messo online il motore www.romagnamania.it mi metto ogni tanto a mano a cercare e inserire contenuti con chiavi di ricerca idonee alla Romagna.
In realta il motere dovrebbe nutrirsi degli imput dati dagli utenti stessi, ma il fatto di automatizzare la cosa mi affascina molto.

Osservano lo script usato (prelevato da questo forum) per estrarre le parole chiave e altro:

Set objXMLHttp = Server.CreateObject("Msxml2.XMLHTTP.4.0")

objXMLHttp.Open "GET", url , False

objXMLHttp.Send
app=objXMLHttp.responseText.....

... Ci vorrebbe un modo per proporgli in ingresso URL
i siti da confrontare le parole chiave tramite una o più funzioni,
e se corrisposte partirebbe il submit (quello che ora si fa manualmente).

Personalomente mi affascina l'idea di fare uno Spyder in Asp.