Cerchiamo di capire il problema.
Sarai d'accordo con me che se un programma può fare qualcosa (come scaricare la posta) anche se non lo vedi aperto, significa che comunque è in esecuzione nel sistema.
La questione è: vorresto Outlook in esecuzione per scaricarti la posta, ma ti da fastidio vedere la sua voce nella barra delle applicazioni in esecuzione (quella in basso).
Ti ricordo che in Windows avviare un programma in backgroun equivale a "ridurlo a icona".
Il mio consiglio è: cerca di capire bene se il tuo problema è l'avere Outlook Express in esecuzione per motivi reali o per questioni estetiche.