Dovevi chiamarla lato server.
Probabilmente "forms[0]" non va quando ci sono scriptmanager e updatepanel nella pagina.

Per il secondo quesito, la prima cosa che mi è venuta in mente è quella di sfruttare il cross-page posting per ottenere l'istanza dell'updatepanel ed usare quindi il suo metodo update,
prima di chiudere la popup. (ovviamente non effettuando il refresh).
Dai una occhiata ad un esempio a fondo pagina qui:
cross page posting