infatti, avevo già provato in questo modo, e come dici tu il popup si apre ma non funziona il controllo del form "return false".
questo è il problema

come risolvere?