La porzione di codice che hai indicato mi pare corretta infatti la lista viene aggiornata con i dati recuperati da php, il problema sta nella funzione di overlay. L'overlay viene applicato esclusivamente al codice html già presente nella pagina, per fare in modo di associare l'overlay ai link(a[rel]) creati successivamente è necessario utilizzare il metodo on(o live/delegate dipende dalla versione di jquery che includi nella pagina). Quindi prova a modificare il codice cosi:

codice:
$("a[rel]").on("click",function(e){
$(this).overlay({ 
    mask: 'darkred',
    effect: 'apple',
    //è necessario caricare l'overlay immadiatamente dopo averlo inizializzato
    load: true, 
    onBeforeLoad: function() {
      // grab wrapper element inside content
      var wrap = this.getOverlay().find(".player");
      // load the page specified in the trigger
      wrap.load(this.getTrigger().attr("href"));
    }
  });
e.preventDefault(); 
});
In rosso le modifiche/aggiunte.