Ovviamente la soluzione migliore (come già ti hanno suggerito) è quella di usare le API.

Comunque, se devi proseguire con l'iterazione con il browser ti consiglio di cambiare strategia e di usare Selenium (https://www.selenium.dev/documentation/webdriver/)

Ti permette di interagire con Firefox o con Chrome (consigliato).
io ho parecchi programmi che utilizzano Selenium e mi trovo molto bene

Se però dici che il codice HTML non c'è, questo potrebbe essere un problema, anche se comunque Selenium ti permette di inviare azioni del mouse e della tastiera