niente onclick,
va tutto nell' onsubmit del form
codice:
function verifForm(formulaire) {
  if(formulaire.messaggio.value == ""){
    alert('Non puoi inviare un messaggio vuoto');
    return false;
  }
  // se il form non ha gia' un target specificalo via script decommentando la riga seguente
  // formulaire.target='popupname'
  window.open('','popupname','width=650,height=670');
}
<form ... onsubmit="return verifForm(this)">

ciao