Puoi usare un crawler, anche se per correttezza dovresti contattare il gestore del sito, dato che vai a consumare un grosso quantitativo di risorse in modo automatico e la cosa potrebbe arrecare un danno.

Così facendo non hai comunque la certezza di reperire tutte le pagine; dipende da come è organizzato il sito.