In linea di massima si fa settando i CSS opportunamente:

<head>
...
<style type="text/css">
...
.sottol { text-decoration: none; }
.sottol:hover { text-decoration: underline; }
...
</style>
</head>
<body ...>
link sottolineato al mousevoer
...


Ciao
Michele