L'ho provato anch'io e ho notato che non funziona. Probabilmente perchè l'applicazione termina.

Un consiglio: usa un thread!
codice:
private class MioTimer extends Thread {
   private int millis;
   public MioTimer(int millis) {
      this.millis = millis;
   }

   public void run() {
      try {
         sleep(millis);
         System.out.println("Sono passati " + millis + " millisecondi");
      } catch (Exception e) {}
   }
}
Ciao.