se conosci il php sei quasi a posto.
Quando carichi una pagina del forum questa fa inizialmente una query sull'utente connesso e rileva se un particolare campo è impostato ad esempio con un valore diverso da 0 (zero significa che non ci sono messaggi nuovi)

se il risultato è diverso da zero crei dinamicamente una funzione javascript di questo tipo nell'header

codice:
function showMessage() {
  if (confirm("Vuoi leggere il nuovo messaggio?")) {
     location.href = "go_to_page_of_pvt_message.php";
  }
}
e nel tag body scrivi il codice necessario ad attivare la funzione al completo caricamento della pagina, cioè

codice:
<body onload="showMessage()">