Non l'ho provato, però credo che, prima di eliminare il file, dopo averci scritto dentro, tu debba chiudere il file, altrimenti per il sistema il file è in uso e non riesce ad eliminarlo.
codice:
File f1 = new File("tutto il percorso dove mettere il file") 
PrintStream output = new PrintStream(new FileOutputStream(f1)); 

output.println("sto scrivendo sul file"); 

output.close()

f1.delete();
Poi ti consiglio una cosa: utilizza il metodo delete in questo modo, perchè tale metodo ritorna un boolean che indica se l'operazione è andata a buon fine o meno:
codice:
if (!f1.delete()) {
   System.out.println("Errore durante l'eliminazione del file!");
}
Ciao.