Ciao Rossella,

il this messo nell'onsubmit del form si riferisce al form. Se vuoi chiudere la popup devi usare self.close() o window.close() o top.close()