Sempre lavorato con Python + BeautifulSoup (esistono anche librerie più avanzate per lo scraping, ma per quel che mi serviva BS bastava e avanzava).