Io userei "find" filtrando con un'espressione regolare, se le supporta

--edit--
Pare di sì: http://unixhelp.ed.ac.uk/CGI/man-cgi?find

Dovrebbe essere una roba tipo
codice:
$ find -regextype posix-basic -regex '|!(testo.txt|nome_directory)$|' -exec rm {} \;
(da testare, ora non sono su linux)