eliminare il file usato in java

[TotalNoob]

Buonasera a tutti!
Non riesco eliminare il file del access database appena creato. Allora io devo convertire un file excel in un file access, per fare questo creo un file access e poi creo una tabella dentro quel file, ma se la query va a cattivo fine io vorrei eliminare il file del database creato, ma non ci riesco perché esso è ancora utilizzato... vedi sotto il codice Come potrei cancellare il file che non serve...

try{         
     Connection conn = DriverManager.getConnection("jdbc:ucanaccess://" + path + ";newdatabaseversion=V2010");
     Statement s = conn.createStatement();
     s.execute(sqlCreateTable);    
}catch (SQLException e){
     e.printStackTrace();
}finally{
     File inutile = new File(path);
     if(inutile.exists())
          inutile.delete();
}