la cosa interessa anche me ed è da un paio di giorni che cerco di documentarmi.

in primis mi interesserebbe far riconoscere al sito che contatto che io sono uno spider, quindi sapere se e come deve essere impostato un eventuale header nelle richieste tramite socket