Anzi tutto, correggi così:
codice:
if ( !toDelete.delete() ) {
   // C'è stato un errore... messaggio a video??
}
Poi devi cercare di capire perchè non lo cancella.
Le cause possono essere molteplici:

1) Il file non esiste
2) Il file è in uso da un'altra applicazione (o dalla stessa!!)
3) Non hai i permessi per cancellarlo


Ciao.