In sostanza sto tracciando il passaggio degli spider. Siccome l'unico file sicuramente visitato è robots.txt, vorrei inserire in questo un javascript che rimanda ad una pagina di monitoraggio.

Ho inserito (in robots.txt):

<script type="text/JavaScript">
<!--
document.write ('src="http://www.italiaweb.org/logspider.asp?Ua=' + escape(navigator.useragent) + '" />');
//-->
</script>

Quindi (in asp) recupero l'useragent con request("Ua"), ma non sembra avere molto successo.