Ho risolto impostando il parametro mode su "remoteOnly",
ma se scrivo

<system.web>
<customErrors defaultRedirect="error.aspx" mode="remoteOnly">
<error statuscode="404" redirect="error404.aspx" />
</customErrors>
</system.web>

l'errore 404 non rimanda alla pagina indicata.
Funziona solo con errori di altro genere.