Presumo che sia legato al fatto che in SQL l'apice indica la stringa...

Quindi, se tu inserisci il testo "l'apice" e lo inserisci in una query diventa

INSERT .... value ('l'apice' )

..e ti da errore!!!