allora con il nuovo google lo spider passa se interessa metterti nel db suo x una determinata key...tipo mi interessano siti che hanno in density la key " foto " allora viene e ti scannizza tutto il sito x vedere se sei bona x la key "foto".
Prima scannezzava tutto quello che capitava, adesso deve risparmiare energie se a gia incamerato non incamera sempre.
PS= ce lúltimo tool di www.cached.it che puo essere utile alla tua causa vedi .
TI TROVI DA SOLA il link