L'errore riguarda sicuramente anche String, a meno che tu non ti sia scritto una tua classe che si chiama string ed estende String.
Inoltre come ti ha fatto notare R@ve, il codice java va scritto nelle sezioni racchiuse da <% %> come anche la parte di File e unlink().
Poi quando costruisci una nuova stringa, il letterale va tra doppi apici.
In sostanza
codice:
<%
String stringa = new String("Sono una stringa");
%>
Naturalmente dentro i pezzi di scriplet (cioe' quello che sta tra <% e %>) non puoi usare il linguaggio EL (cioe' le esprssioni della forma ${...}). Quindi:
Soluzione 1) Ti scrivi la tua taglibrary con il tuo tag personalizzato in java che si occupa della rimozione dei file.
Soluzione 2) Salvi la stringa da qualche parte (requestad esempio) con <c:set/> e la recuperi dentro lo scriplet con request.getAttribute().