Buonasera a tutti,
premetto che sono molto ignorante in fatto di tecnica web e non posso considerarmi un webmaster vero e proprio. Perciò chiedo il vs. aiuto.
Sapete meglio di me che esistono quei motori di ricerca "pirata", che elencano nelle loro serp siti o singole pagine all'scita delle quali all'utente compare un bel pop-under "impression" che porta soldi solo a loro. Praticamente campano sfruttando il lavoro altrui. Credo che anche qualcuno di voi sia vittima di questo comportamento sleale e disonesto. Oltretutto immagino che costoro ci guadagnino anche in popolarità, comparendo nelle statistiche di molti siti, e forse lo fanno anche per questo.
Ora la mia domanda è: se e come poterli escludere dall'accesso al mio sito. Nella mia ignoranza credo che si possa operare sul file robots.txt, che nel mio sito è così congegnato:

User-Agent: *
Disallow:

Desidederei una vs. conferma ed eventualmente se devo inserire gli url di quei motori indesiderati dove c'è "disallow" ( e come: di seguito con uno spazio, uno sotto l'altro, ecc.)
Grazie per la vs. pazienza e a chi vorrà gentilmente rispondermi.

(weppos - la citazione di siti è permessa solo se indispensabile alla comprensione del post)