Devi usare window.open() in javascript:

La W3C spiega i parametri supportati e come passarli fra cui width, height, left e top, oltre alle dimensioni puoi scegliere la posizione.

Ecco il link diretto alla funzione:

http://www.w3schools.com/htmldom/met_win_open.asp

Non so come farai a recuperare i valori dal popup però...