Approfondisci smtpd_recipient_restrictions e smtpd_client_restrictions in
http://www.postfix.org/SMTPD_ACCESS_README.html
Anche se non l'ho mai fatto, ci sara' il modo di inserire in uno dei due elenchi l'indirizzo ip. Il problema pero' e' che se sei su un hosting condiviso, TUTTI i tuoi coinquilini potranno mandare mail tramite il tuo server. Io l'autenticazione ce la metterei comunque...