ciò che ti ha detto Boldan va benissimo, e infatti le istruzioni non differiscono dalle installazioni della JDK a partire dalla versione 2

un consiglio: nel classpath, aggiungici anche la dir corrente ("."), in modo che il compilatore cominci a cercare i file appunto dalla dir in cui si trova

poi scusa anche la domanda banale, ma hai utilizzato il comando "java HelloWorld"?
magari ho capito male io, ma mi pare che il file l'hai solo compilato e non anche eseguito