innanzitutto su quale OS lo vuoi installare ?
la macchina viene utilizzata anche per altri scopi ?
caratteristiche hardware ?
disponibilità ad imparare altri OS ?
tempi di realizzazione ?
carico di traffico previsto ?
numero di utenti ?
mission critical o prova tanto per imparare ?

poi si comincia a ragionare !!

io ovviamente consiglierei :

macchina dedicata
OS Linux (la distribuzione la decidi tu ...)
MTA Postfix (lo conosco discretamente e ti potrei aiutare)
Hardware quello che vuoi

ciao

seguendo la mia soluzione di manuali in italiano ne trovi fino a stancarti e magari impari pure qualcosa di nuovo ...