la parte "perchè IE è buggato da far schifo" è corretta.
però in questo caso dipende dal fatto che mette come altezza minima l'altezza del carattere, anche se questo non c'è.

quindi metti anche font-size:0;