Originariamente inviato da borgorosso
http://www.motoricerca.info/robots.phtml
Non fornisce però spiegazioni per il caso specifico in questione