forza G a leggere il robots.txt
Come fa?

Anche il robots più si aggiorna più viene letto come una qualunque pagina?

Ho disattivato in un sito la lettura dei pdf tramite il robots ma dopo un paio di mesi me li ritrovo ancora nel db di GG. Io vorrei veramente liberare il sovraffaticato GG dei miei vecchi pdf ma non mi sembra abbia dato molta retta al robots.