Mi sembra strano che Google penalizzi la mancanza del "robots.txt", che in realtà probabilmente manca sulla maggior parte dei siti esistenti...

Anche la mancanza di direttive specifiche nei metatags della pagina dovrebbe semplicemente far capire allo spider che può andare dove vuole... o no?