Buonasera a tutti,
è da oggi che ho un dubbio immane.
Ma gli Spider, si comportano come comuni Client (quindi Utenti comuni) ? Oppure no?
Con questa domanda voglio dire, gli Spider, quando girovagano per la rete scansionando tutte le pagine web...fanno richiesta al server che le ospita?
..quindi il server gli invia la pagina? (e quindi, Php gli genera il codice Html???)
A seguito di una risposta, vi spiegherò perchè queste domande e vi chiederò di conseguenza un parere.
Grazie a tutti!
A quale alternativa pensavi? Ne conosci altre?Originariamente inviato da wartpro
Con questa domanda voglio dire, gli Spider, quando girovagano per la rete scansionando tutte le pagine web...fanno richiesta al server che le ospita?
Comunque la risposta è si, fanno una richiesta al server.
Adesso aspettiamo le fatidiche domande.
Dai.
Vi spiego.
Avevo realizzato un codice del genere (che poi ho semplificato...) per le pagine. Ciò al fine di verificare se l'utente entrava per la prima volta oppure no. Se fosse stato un nuovo visitatore, avrebbe ricevuto la parte di codice con uno script jQuery che visualizzava una presentazione. Se invece fosse stato un visitatore già stato nel sito..avendo impostato un cookie apposito (sempre se possibile), il server avrebbe inviato l'altro pezzo di codice, quello senza effetto di entrata ecco.
Vi illustro.
Tutte queste domande per capire se questa soluzione avrebbe comportato qualche "abbassamento di grado" a livello SEO".Codice PHP:<?php
if (cookie non presente) {
..imposta cookie e..
?>
<html>
<head>
<link a css>
<script con effetto per nuovo visitatore>
<?php
} else {
?>
<html>
<head>
<link a css>
<?php
}
?>
</head>
<body>
..e resto pagina.
</body>
</html>
..effettivamente, mi sono reso conto che era abbastanza macchinoso come metodo.
Ora ne ho adottato un altro dove l'html (link css, script, metatag, e bla) è digitato una sola volta, anzichè come sopra..due volte a seconda dei casi.
Diciamo che ho semplificato il tutto. Tutto qua.
[E non sfottete che sono un neofita SEO
]
Ad ogni modo, dato che ci siamo e dato che mi confermate che i Spider sono come noi, Client che richiedono una pagina..sorge una domanda:
Se sono come Client, a questo punto vengono rilevati come visitatori? Quindi Google Analytics li acchiapperebbe?
Grazie a tutti.
Gli spider dei motori sono client a tutti gli effetti e fanno le richeste al server, però... hanno comunque dei comportamenti diversi dai browser:[list=a][*]Non accettano i cookie (quindi anche tecniche tipo le sessioni di PHP sono inutilizzabili dagli spider)[*]Fanno la richiesta di un'unica risorsa alla volta (quindi di una pagina non si scaricano tutte le immagini, i css, i javascript, ecc)[*]Non eseguono Javascript (in genere)[*]Hanno degli user-agent riconoscibili per permettere il riconsocimento dello spider da parte di un sistema automatico che analizzi il contenuto dei log degli accessi[/list=a] Per questi motivi un sistema di statistiche di traffico (quale Google Analytics) è in grado di evitare di tracciare gli accessi degli spider e non conteggiarli nei risultati.
Venendo ai cookie, puoi usarli per delle funzionalità di abbellimento della pagina per l'utente, tenendo presente che lo spider accederà sempre senza cookie.
Il codice che hai postato non crea problemi per gli spider. La modifica che dici di aver fatto a quel codice serve solo per facilitare la gestione del codice da parte tua, però non ha influenza sul risultato per browser e spider.
Se hai altre perplessità, chiedici pure.
Ah..adoro voi, i forum e chi li ha creati !
Grazie rig per l'esaurientissima risposta! Completa e dettagliata!
Ora mi è chiaro il concetto
E' possibile sapere se e quando uno Spider "è passato" dal proprio sito?
Certo, e monitorare l'attività degli spider sul sito è un'attività impostante per chi fa SEO professionalmente.
Per farlo occorre avere accesso ai log del server, che sono file di testo contenti i dati di tutte le richieste fatte al server. Oltre a questo, serve uno strumento per trattare i dati ed estrarre le informazioni di interesse. Esistono ad esempio vari log analyzer, sia gratuiti che a pagamento.
In alternativa è possibile crearsi uno strumento di tracciamento interno con un linguaggio server-side (ad esempio in PHP), che registri su un db o su file le stesse informazioni, e che magari sia anche in grado di estrarre dei dati aggregati da questi. Esistono anche degli strumenti open source che fanno questo (ad esempio php-stats, che non so se è ancora supportato).
Allora l'ulteriore domanda è: avendo un sito in hosting, windows (non me ne vogliate linuxsisti..ho capito la lezione..al rinnovo..sarò dei vostri!
Giusto?
Se no, come presumo, posso (come mi hai detto tu) ottenere le informazioni che mi interessano attraverso uno script Php? ..creato da me, pagato, ecc...
Ti ringrazio tanto ancora. Informazioni preziose mi stai dando! (per un neofita free-lance
Per quanto riguarda il log, non è tanto una questione Linux/Windows, quanto una funzionalità che il fornitore dell'hosting può metterti a disposizione o meno. Per verificare la possibilità di accedere a questa risorsa ti consiglio di metterti in contatto direttamente col supporto di chi ti offre il servizio.
Quanto al controllo del traffico, la cosa principale che devi verificare di ogni visita è lo user agent del client, che è una stringa di testo che è una sorta di firma di chi contatta il server.
Per i browser da lì ricavi informazioni sul tipo e sulla versione, mentre per gli spider e i bot in genere dovresti capire chi sono e da dove arrivano. Le informazioni devono essere trattate, e serve un po' di esperienza per estrarre le informazioni correttamente. Ad esempio Google si firma come "googlebot", quindi cercare questa sottostringa nello user agent ti dà con una certa approssimazione le visite dello spider di Google.
Dal punto di vista tecnico, una trattazione della questione esula dalle tematiche di questo forum. Ti dico solo che ad esempio in PHP lo user agent del client lo estrai da questa variabile:
Codice PHP:$_SERVER['HTTP_USER_AGENT']
Grazie mille! Riguardo lo user agent & co. ci sto.
Ora punto ai log del server per vedere un pò come funziona la questione dell'accesso degli spider al mio sito
Permessi di invio
Rispondi quotando