E' impossibile fare un motore di ricerca su un sito in housting??

[edark]

Salve a tutti!
Tutti gli archivi (database) dei motori di ricerca, peseranno molti MB se non GB
Se vorrei fare una cosa tutta mia...cioè costruirmi uno spiederino che mi indicizza un po di pagine...tipo 100 - 200 mila pagine,come faccio ad inserirle per esempio in un db MySql, non esiste nessun ISP che ti da cosi tanto spazio per un db...
Quindi se uno vuole fare un motore di ricerca, ha bisogno di un server tutto suo, dove non ci sono limiti di spazio....vero???
grazie e scusate per la domanda un po [OT]

[uMoR]

no non è del tutto cosi..
fare uno spider che indicizza pagine (se ne era parlato in un precedente topic) ciuccia troppe risorse per un hosting, quindi è necessario un server in housing, e uno è poco

fai te

[uMoR]

ah ricorda anche che cmq hard disk illimitati non esistono, quindi anche lo spazio è per forza illimitato..


aggiungi poi il traffico mensile.. e suicidati

[Aulenta]

conosco vari motori di ricerca che sono su normalissimi piani di hosting. E' evidente che se il motore cresce come visite (ed è il traffico la risorsa di maggior costo in rete, non lo spazio) il piano di hosting classico non basterà più, ma perchè bagnarsi prima di piovere? Vedo molti che prendono semidedicati per siti che andavano benissimo su un hosting di base. Ma è inutile spendere molti soldi per un progetto che ancora non ha di certo grandi esigenze, se poi ci sarà la necessità di cambiare in meglio vuol dire che il motore è cresciuto e quindi anche lo sforzo economico per prendere un piano di hosting con caratteristiche più avanzate o un semidedicato o un dedicato peserà molto poco, perchè fatto a fronte (si spera!) dei primi rientri economici.
Insomma, il mio modesto consigliio in merito è di non farsi mai prendere da manie di grandezza, mai fare il passo più lungo della gamba, mai prendere ciò che si vuole ma ciò di cui si ha realmente bisogno, per crescere pian piano con i propri progetti, altrimenti si rischia di non iniziare mai o di fallire il proprio obiettivo per mancanza di risorse.
E nel tempo si vede cosa ne esce. :rollo:
ciao

[GraficFroz]

aulenta concordo perfettamente con te, si inizia da poco per poi arrivare ai livelli alti ed adattarsi anche alle esigenze

[PiccoloElfo]

Originariamente inviato da edark
Salve a tutti!
Tutti gli archivi (database) dei motori di ricerca, peseranno molti MB se non GB
Se vorrei fare una cosa tutta mia...

Tanto per cominciare se volessi fare una cosa tutta tua.
Per proseguire invece, pur concordando con aulenta sul fatto dei piccoli passi, da analisi fatte per ragioni analoghe, ti assicuro che occorre una quantità di banda mostruosa, sia in termini assoluti (giga al giorno) sia in termini di banda passante, ovvero la banda al secondo disponibile come picco massimo. A questo devi aggiungere un processore (dei processori) con capacità di calcolo elevate ed una ram eccezionale. Diversamente da quando uno digita la richiesta a quando compare il risultato fai in tempo a fare e bere un caffè.
Quindi il limite non è lo spazio illimitato.

[Low]

da anali fatte per ragioni analoghe

Da che?

[Aulenta]

perdonami, ma è un discorso un pò aprioristico...siamo stati contattati da webmaster con motori di ricerca per hostare i loro motori, e addirittura uno abbastanza noto aveva esigenze davvero esigue rispetto alla propria notorietà.
Va da sè che poi possono esserci motori che, in base a come sono stati progettati, richiedano molto spazio (ma ormai quasi tutti i piani di hosting danno mooolto spazio a costi irrisori, quindi non me ne preoccuperei), ma per la banda...dipende dai visitatori. Non possiamo mettere nello stesso calderone motori di ricerca con 10 vistitatori al giorno e motori con 1 milione di accessi.
Quando aumentaranno gli accessi tanto da richiedere un salto di qualità, si faranno due conti in tasca e si vedrà se il progetto produce un profitto tale da coprire quanto meno le spese e poi si valuta.
Perchè mai spendere come se si gestisse google quando si ha un progettino ancora agli inizi sicuramente di poche pretese? Poi si vede!

[Low]

Giusto per contribuire alla discussione, questa volta in modo intelligente, volevo aggiungere che se a dover creare un motore di ricerca fossi io, farei le cose in modo da necessitare il pieno accesso shell/SSH ai server, con possibilità di compilare ed installare software autoprodotto (ad esempio non userei mai SQL).

Quindi alle esigenze di bandwidth si aggiungerebbero anche esigenze di permessi utente/gruppo.

[Stealth]

insieme ad alcuni amici stiamo sviluppando un S.E. casalingo e una cosa è certa...tutto ciò richiede molto tempo, risorse e pazienza, ma con un pò di furbizia tutto può essere risolto.

Uno dei nuclei principali di un S.E. è lo spider, io ne ho sviluppato uno che prende i link segnalati, fa visita al sito, prende il codice della pagina e lo inserisce nel DB locale all'interno della mia mini lan su un DB SQL.

Il processo di visione dettagliata delle varie pagine viene eseguita tutta in locale e le operazioni matematiche correlate sono sempre in locale.

L'unico problemino è passare i dati da db sql in locale a db mysql posto su un hosting normalissimo.

in principio non ci sono problemi, ovvio che se il db cresce e gli utenti aumentano beh iltutto deve essere rivisionato xotimizzarlo al meglio.

Una cosa è importante....la costruzione del DB

P.S.: ci sono altre 1000 difficoltà, ovvio