thomas lui chiede esplicitamente come raggiungere anche quelle non linkate... e solo un pazzo suicida le metterebbe nel robots.txt.
Escludere dall'indicizzazione uan pagina o una cartella non significa renderla inacessibile.

Per quelle linkate la cosa più banale è usare un semplicissimo scanner o uno di quei software (ad es Httrack) che scarica completamente un sito.