ciao rdts4l. benvenuto sul forum.

cancella subito la tua mail, altrimanti prima o poi verrà intercettata da qualche spider spambot.

il problema esposto non è chiaro:

primo perché i MDR (motori di ricerca) non sono tenuti ad indicizzare "tutto"
secondo perché parli di "pagina documenti" ma, nell'esempio, "documenti" è una cartella.
se non è prevista l'esplorazione della cartella da parte del server tu non puoi fare nulla.
puoi solo consultare un eventuale indice fornito dal webmaster

esistono programmi per "scaricare tutto il sito" (o solo certe cartelle),
ma non è detto che funzionino: dipende da come è strutturato il sito