Non è un problema di codice ne di IE 11. Io uso questa tag in IE11 e non ho mai avuto problemi.
Potrebbe essere un problema di codec. Magari il contenitore è mp4 ma il codec non è tra quelli supportati, che se non mi sbaglio è solo h264. Forse gli altri browser ne implementano altri, ma non lo so con certezza.