Quote Originariamente inviata da Adenina Visualizza il messaggio
Se una pagina è creata dinamicamente al click di un utente su un link (es. il cassico "leggi di più" in fondo alla preview di un articolo), non comprendevo come si potesse comportare, nel medesimo caso, un bot. A quanto ho capito, anche se il bot non clicca fisicamente sul link, vede comunque più o meno quello che vedrebbe un utente che sul link ci clicca.
Il bot chiaramente non ha l'azione fisica del click, ma il comportamento è uguale a quello di un utente col browser ovvero: il client riceve dal server l'HTML contenente i link ad altre pagine, quindi potrà fare un'altra richiesta ad un'altra pagina dello stesso sito il cui link è contenuto nell'HTML ricevuto.

Poi la situazione nella realtà è un po' più complessa, nel senso che il bot non naviga ma si limita a segnalare i link che trova ad un altro componente del motore di ricerca, il quale scatenerà altri bot per scansionare questi altri link a loro volta... ma il concetto di base non cambia.

Spero che adesso ti sia tutto un po' più chiaro.