Se quello che intendi è che da "10AE" ti ritorni qualcosa del tipo

00010000, 10101110

allora in metodi nella classe Integer possono aiutarti:

Definisci un'eventuale strategia di padding (se la String ha "lunghezza dispari", aggiungi uno zero davanti?), poi spezzetti in substring di lunghezza 2 e il tuo array lo costruisci passando queste mini-stringhe per

codice:
Integer.parseInt(tua_mini_stringa, 16);
che ritorna un decimale (o almeno ci prova) considerando la String passata in argomento come base 16. Da lì vedi te come rappresentare il valore (occhio un tipo byte potrebbe non essere sufficiente, da cui scaturisce la "necessità" di passare per int)