Quindi andrebbe così?

RewriteEngine On
RewriteRule ^pagina.html$ pagina.php [L]

Ma se faccio così, quando clicco sul link pagina.php mi manda alla pagina.php e non cambia nulla nell'url.