Le variabili di ambiente di riferimento sono
PATH
JAVA_HOME

esempio:
JAVA_HOME=/usr/lib/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

e rmic dovresti trovarlo nel tuo "$PATH".

Per rendere tali impostazioni permanenti i file di interesse sono quelli relativi alla shell, ma generalmente, parlando di bash, si usa "/etc/profile" a livello di sistema ed "$HOME/.profile" a livello utente.

man bash

leggi anche il readme del JDK/JRE, riguardo l'impostazione di PATH e CLASSPATH

ciao