Se uno spider decide di ignorare una richiesta di un webmaster, la ignora indipendentemente da come la richiesta è stata effettuata.

Può essere un robots.txt o un meta tag o una preghiera in aramaico: se non vuole soddisfare la tua richiesta non la soddisfa e basta.

La certezza assoluta non la si può ottenere chiedendo ma impedendo. Giocando con le impostazione del web server e basandosi sulla stringa di user-agent, è possibile impedire ad uno spider di ricevere la pagina.