L'apice singolo e' il carattere che delimita le stringhe in sql. Prima di inviare la query devi fare un replace sulla stringa letta con getText per fare l'escape degli apici.
codice:
String stringa = textField.getText();
stringa = stringa.replace("'","''"); //DoppioApice-SingoloApice-DoppioApice, DoppioApice-SingoloApice-SingoloApice-DoppioApice,
Altra soluzione molto piu' elegante e' usare la classe PreparredStatement per fare le query, in modo da evitare qualsiasi problema del genere.