se vuoi che la textfield non superi, ad esempio, i 5 caratteri, attribuisci alla textfield un keyTyped che ha come parametro un keyEvent. Quando la lunghezza della stringa nella textfield supera 5, c'è il metodo consume del keyEvent che blocca ogni ulteriore inserimento

void textfield_keyTyped(KeyEvent e)
{
if(textfield.getText().length()>4)
e.consume();
}