io proverei ad utilizzare qualcosa di pià facile, ma non xchè facile, ma perchè così seisicuro che ie lo capisce e lo accetta.

potresti fargli aprire il popup con un comando js direttamente nel link window.open() se non ricordo male il comando e andare a settare le proporzioni senza usa funzioni più complesse in js considera sempre che non è detto che chi vede il tuo sito abbia le funzioni js attive nel browser e quindi se così fosse che fine fa il tuo popup?

x il discorso di che browser prendere come riferimento la logica direbbe 1000 volte FF, ma come hai ben detto tu Ie è più usato, diciamo che in questi casi il compromesso e trovare soluzioni che si adattino ad entrambi.