Direi proprio di sì.
Non me ne intendo granché del .htaccess ma si tratta di espressioni regolari, e il $ descrive la fine del url, NON "lì c'è un numero".
Quindi semmai qualcosa del tipo (prova, io non ho modo di provare):
RewriteRule /page(\d+)$ /UrlServlet?page=$1
\d+ vuol dire "una o più cifre decimali" e ( ) definisce il gruppo 1 che poi si referenzia nel replace a destra con $1
Quindi /page123 dovrebbe diventare /UrlServlet?page=123
Tutto qui. Prova, non sono sicuro al 100% ma quasi ...
P.S. ovviamente se si chiede /pageABC non funziona ... il \d+ fa anche da "filtro" in questo senso, solo numeri.