Salve devo analizzare 10 mila pagine web, le pagine sono di questo tipo

h t t p: / / w w w . nomesito / id=100
h t t p: / / w w w . nomesito / id=101

l'id arriva a 10 mila

Per prima cosa alcune di queste pagine appena ci entri hanno una redirect, devo stampare a video l'url di quelle che non hanno redirect.

Secondo se non c'é redirect controllo che nel title sia presente la parola dottore esempio:

<title>il giadino del dottore</title>


se c'é stampo a video l'url



Non ho idea se si possa fare e come farlo qualcuno mi da una mano grazie mille.