una spiegazione più precisa della tua situazione aiuterebbe di più.
Il tuo server smtp risponde è il server smtp di qualche dominio pubblico? es mail.pippobaudo.it
oppure è un server interno?
Nel caso sia pubblica devi avere la porta 25 aperta al mondo, aver configurato bene il server mica che sia un open-relay, e fare in modo che i record mx del tuo dominio puntino all'ip del tuo server.
Se vuoi ad esempio scaricare la posta di account per esempio @gmail.com o @tiscali.it allora devi usare fetchmail.

Una buona guida che ti mostra tutto il da fare http://web.tiscali.it/mrshark/qechowto/index.html