il miglior rapporto prezzo/prestazioni lo ottieni sicuramente con Linux, ma se fossi in te valuterei anche una soluzione diversa da red hat server 3.0 come ad esempio Debian ....

L'hardware è poco influente (sempre che tu rimanga circa sui livelli che hai descritto in precedenza). Poi dipende molto da cosa_deve_fare il tuo server.

Per esempio :
Se i client di posta utilizzeranno IMAP avrai bisogno di un sottosistema dischi molto performante, se invece si collegheranno in POP3 questa necessità non ci sarà.

Il discorso che ti hanno fatto altri sul linguaggio delle pagine web è fondamentale ... non mi sono mai piaciuti più di tanto gli accrocchi tipo ASP su apache per linux o PHP su IIS ... ti complicheresti la vita per niente.

La mia proposta sarebbe :

Due server, uno per la posta e uno per il sito.
Hardware buono ma non un server di marca, tipo HP o IBM, ma assemblato, strutturato (circa in questo modo) :

- Processore Intel p4 HT
- 2 GB Memoria RAM
- Controller Raid Hardware 3ware (pienamento supportato dal kernel di linux)
- due o tre dischi ide performanti (a seconda del tipo di raid che vorrai fare)
- Scheda di rete a 100 Mb/s
- MotherBoard Intel

O.S. Debian GNU Linux

Direi che come spesa, paragonandolo ad un windows server 2003 su una sola macchina sei comunque inferiore.