JAVA_HOME deve indicare la directory "home" di installazione del JDK (non è la "bin"). In PATH invece va messa la "bin" (di norma path assoluto) del JDK, utile specialmente se usi i tools del JDK da linea di comando.
L'installer di un JRE/JDK non rimuove nulla. Puoi avere più JRE e JDK tranquillamente infatti. Se vuoi rimuovere tu qualcosa devi farlo secondo le modalità corrette per il S.O. (Su Windows 7 es. dal Pannello di controllo -> Disinstalla un programma)