Mi sembnra quindi di capire che il file robots serva solo per escludere certi robot da certe pagine e non per "suggerire" al motore di visitare ulteriori pagine...

Per gli spider gratuiti qualcuno sa qualcosa?