Il robots txt è letto comunque prima di ogni sessione di spiderizzazione, quindi se inserisci il blocco dovresti non avere più richieste per le pagine del sito in questione.

I tempi per la rimozione delle pagine già indicizzate dall'indice possono essere più lunghi, ma tramite il webmaster tools ne puoi richiedere la rimozione, che dovrebbe avvenire nel giro di 24 ore.