Redhat 9 potrebbe anche andare ma probabilmente ci sono distro piu' indicate, tipo Slackware o Debian.
Tieni presente che mettere su un server Linux che svolga le funzioni che hai elencato, non è una banalità. Devi conoscere bene iptables e i protocolli di rete per impostare il firewall, devi conoscere un server di posta e il suo funzionamento, e dei vari tool anti-spam.
Ci sono anche delle distro pensate per svolgere la funzione di firewall, che danno la possibilità di essere impostate via web, tramite delle interfacce "amichevoli", tipo ipcop, però non mi sembra una buona idea metterci sopra anche un server di posta, dato che sono ridotte all'osso, a livello di software.