Evi|A|ivE, puoi pretendere con buon diritto che il tuo sito non venga visualizzato in un frame, come prevedono le normative europee ed italiane.

Per quello che riguarda i bot e gli spider, invece, non esistono regole, anche perchè il file robot.txt è semplicemente di indirizzo e non una regola da seguire. Per impedire accessi puoi utilizzare il file .htaccess o simili.