Ho già aggiunto del CSS personalizzato, ma WP lo ignora, per questo credo sia una questione più di WP che di CSS...
Intanto ho provato creando una galleria anziché caricare le singole immagini: risolvo con l'allineamento senza testo accanto, ma in modalità smartphone le immagini restano una accanto all'altra anziché disporsi in colonna. In pratica perdo la responsività...

Ho installato Gutenberg e creato un blocco galleria: sebbene indichi immagini su 4 colonne (quindi le 4 immagini tutte su una riga), le dispone una sotto l'altra sia in visualizzazione desktop che smartphone, e per giunta ignorando il centramento impostato.