Originariamente inviato da paolino_delta_t
crawlando si impara
non sto ad annoiarvi con dettagli inutili....i crawler o spider sono dei programmi che girano la rete a caccia di URL da leggere e mettere sul proprio HD....
quello che intendevo dire nell'altro post è che un buon SEO deve analizzare le pagine che sono in testa alle SERP, altrrimenti non capirà mai cosa fare e come farlo.....
è questo che io intendo con "approccio matematico"....ne è nata una discussione su chi sia migliore, un approccio umanistico o matematico....ritengo che siano metodi molto simili....la differenza di fondo sta nel fatto che l'approccio umanistico si basa sulla convinzione che i motori implementano algoritmi tali da far emergere i siti che soddisfano gli utenti, quindi partendo da cosa un utente vuole dalla rete si può supporre quali parametri tra quelli noti i motori prendono più o meno in considerazione....l'altro metodo è quello matematico, ossia si parte da una conoscenza di base dell'IR e quindi di quali algoritmi esistono per classificare le informazioni per poi arrivare tramite crawling e analisi delle risorse che occupano posizioni prominenti nelle SERP a tirare delle conclusioni circa gli algoritmi implementati e i parametri usati.....
purtroppo non vorrei spaventare ulteriormente Blade, però, questo sistema è usato da tutti coloro che fanno SEO ad un certo livello, lo usa il famosissimo Dave Naylor, lo usano le grandi SEO agency d'oltreoceano e anche quelle nostrane....fare SEO a naso o ad intuito non è esattamente il modo migliore di lavorare....comunque.....
la risposta alla domanda di srg è che il crawling consiste nel leggere i contenuti a cui puntano determinati URL ( scaricare le pagine web ) per poi analizzarli ..... se volete sapere qual'è il metodo migliore per creare un accrocchio simile, vi dico che PHP ( oppure Python, Perl o Ruby ) e la fantastica libreria CUrl