Al posto di usare la classe Scanner potresti usare la classe BufferedReader il cui methodo read() permette la lettura di un singolo carattare.