Di solito si aggiunge la directory "." (directory corrente) al classpath e si lancia il comando java dopo essere andati nella directory con CD.
Puoi cmq aggiungere la directory specifica, nessuno te lo impedisce.

Il classpath e' una variabile di ambiente, si setta col comando SET. Sotto WinXP la trovi anche in Pannello di Controllo/Sistema/Avanzate

Tieni presente che se la classe si trova in un package (nel senso che ha una dichiarazione di package in testa al codice) allora devi aggiungere al CLASSPATH la directory del package (e non della classe) e poi usare java mioPackage.miaClasse