Io uso Media Player Classic quindi non so dirti esattamente cosa appare, cmq vai in Pannello di controllo, Opzioni cartella, Tipi di file.
Scorri fino a MP3 e clicca Avanzate.
Ti dovrebbe uscire una lista di azioni, attualmente settata su Open o Apri, mentre tu devi cercare un Add o Aggiungi, e confermare.

La procedura va ripetuta con tutte le estensioni che apri con WMP, oltre agli mp3.