Come distribuzioni adatte (o meglio, piu' indicate) per ospitare un server, direi debian o slackware.
Come Mail Server ti consiglio Postfix (oppure Sendmail, un po' piu' difficile forse da configurare).
http://www.postfix.org
http://www.mrshark.it/qechowto/confi...nepostfix.html

comunque con big google, trovi un bel po' di docs.

Un antivirus da usare con l'MTA: http://www.amavis.org/