si con questa dicitura User-agent: *
Disallow:
e nelle pagine ho il meta tag con questa decidura <meta name="robots" content="all">