Qual'è il metodo più efficace? Le pagine continuano a esistere, ma sono escluse dal robots.txt