Per fare le cose in modo rapido:
Loggati con l'utente che utilizzera e compilera con java.
Poi diventa root
$ su -

Aggiorniamo il database locale dei file presenti sulla macchina
# updatedb

Terminiamo il lavoro di root
# exit

Andiamo a cercare dove è stato installato java
$ locate bin/java
/usr/lib/j2sdk1.4.2_04/bin/java
/usr/lib/j2sdk1.4.2_04/bin/javac
/usr/lib/j2sdk1.4.2_04/bin/javah
/usr/lib/j2sdk1.4.2_04/bin/javap
/usr/lib/j2sdk1.4.2_04/bin/java-rmi.cgi
/usr/lib/j2sdk1.4.2_04/bin/javadoc
/usr/lib/j2sdk1.4.2_04/jre/bin/java
/usr/lib/j2sdk1.4.2_04/jre/bin/java_vm
/opt/kde/bin/javalib

Ti ho evidenziato la riga che ci interessa.
Nella variabile PATH dobbiamo aggiungere il percorso
che punta agli eseguibili per compilare, lanciare, ecc.
$ export PATH=$PATH:/usr/lib/j2sdk1.4.2_04/bin

Ora se vogliamo impostare definitivamete la variabile PATH
possiamo fare in questo modo:
edita il file $HOME/.bash_profile ed aggiungi
export PATH=$PATH:/usr/lib/j2sdk1.4.2_04/bin

La prossima volta che ti loggherai con questo utente
(solo questo), avrai il percorso agli eseguibili java
impostato nel PATH.

Per verificare che tutto sia andato a buon fine:
$ java -version
java version "1.4.2_04"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_04-b05)
Java HotSpot(TM) Client VM (build 1.4.2_04-b05, mixed mode)

Nel caso in cui tu voglia abilitare tutti gli utenti
ad utilizzare java, il file da editare (con root) è
ovviamente /etc/profile, dove aggiungerai la riga di
cui sopra.

Se non ti è chiaro o non va dimmelo.
Se è a posto dimmelo, insomma 'devi parlà'.

Ciao.