Nel tuo codice metti la cancellazione del file FUORI dal ciclo, quindi l'istruzione
if($leggo==$mese)
Viene eseguita UNA SOLA VOLTA e dopo che hai già letto TUTTI i file
Prova una cosa del genere e vedi come va
Codice PHP:
<?php
$mese
="$ms";
$apri=opendir('news');
$trovato false;
while(
$file=readdir($apri) and !$trovato)
{
  
$leggi=substr('$file'4,5);
  if(
$leggi=="$mese")
  {
    
$trovato true;
    if(
unlink($leggi));
      echo 
"FILE CANCELLATO CON SUCCESSO";
    else
      echo 
"ERRORE";
  }
}

?>