Ora io di joomla non ne so molto perchè di solito uso drupal. Tuttavia posso immaginare che la cosa non sia cosi differente.

E' vero che l'html viene generato al volo... ma da qualche parte dovrà pur prenderlo! Di solito sta nel template grafico insieme ai CSS. Di sicuro non vedrai pagine html intere ma solo delle porzioni che vengono appunto composte dinamicamente all'occorrenza.

Per fare le modifiche di questi file html (che non è detto abbiano estensione html) è consigliato disabilitare la cache altrimenti non vedresti subito le modifiche.