Certo, e monitorare l'attività degli spider sul sito è un'attività impostante per chi fa SEO professionalmente.

Per farlo occorre avere accesso ai log del server, che sono file di testo contenti i dati di tutte le richieste fatte al server. Oltre a questo, serve uno strumento per trattare i dati ed estrarre le informazioni di interesse. Esistono ad esempio vari log analyzer, sia gratuiti che a pagamento.

In alternativa è possibile crearsi uno strumento di tracciamento interno con un linguaggio server-side (ad esempio in PHP), che registri su un db o su file le stesse informazioni, e che magari sia anche in grado di estrarre dei dati aggregati da questi. Esistono anche degli strumenti open source che fanno questo (ad esempio php-stats, che non so se è ancora supportato).