non conosco il python, ma so come si fa in php, e immagino sia simile e del tutto fattibile, dal momento che a quanto pare molti motori di ricerca utilizzano python ed è risaputo che tra i compiti di un motore di ricerca c'è quello di aprire la pagine web per estrapolarne i link ad altre pagine ed il contenuto.

In php si può utilizzare la funzione:

$html = fopen($url,"r");

dove $url è la variabile che contiene l'indirizzo della pagina web da aprire.
Una volta aperta la pagina web, il suo contenuto sarà salvato all'interno della variabile $html, e da quel momento puoi utilizzare il contenuto di $html come meglio credi.
Ad esempio un'idea può essere quella di estrarre dal contenuto della variabile tutti i link, sfruttando le espressioni regolari, e inserire quei link in un array; in seguito puoi utilizzare sempre la funzione fopen per aprire ogni link estrapolato, sfruttando un semplice ciclo per accedere ai vari elementi dell'array, e il resto te lo lascio intuire

mi dispiace di non poter essere più utile, ma sono certa che è una cosa talmente comune che non avrai difficoltà a trovare degli esempi online