Sostanzialmente tramite i CSS...per esempio mettendo questo codice nel tag <head></head>

codice:
<style>
<!--
A:link {
FONT-WEIGHT: normal; 
FONT-SIZE: 9px; 
COLOR: #09f; 
FONT-STYLE: normal; 
FONT-FAMILY: Geneva, Arial, Helvetica; 
TEXT-DECORATION: none
}
A:active {
FONT-WEIGHT: normal; 
FONT-SIZE: 9px; 
COLOR: #09f; 
FONT-STYLE: normal; 
FONT-FAMILY: Geneva, Arial, Helvetica; 
TEXT-DECORATION: none
}
A:visited {
FONT-WEIGHT: normal; 
FONT-SIZE: 9px; COLOR: #09f; 
FONT-STYLE: normal; 
FONT-FAMILY: Geneva, Arial, Helvetica; 
TEXT-DECORATION: none
}
A:hover {
FONT-WEIGHT: normal; 
FONT-SIZE: 9px; 
COLOR: #000; 
FONT-STYLE: normal; 
FONT-FAMILY: Geneva, Arial, Helvetica; 
TEXT-DECORATION: none
}
-->
</style>
Naturalmente sostituisci i codici colore che vuoi tu, basta che lasci TEXT-DECORATION: none per non avere la sottolineatura.