la soluzione migliore non è eliminarlo ma gestire il suo inserimento. Se ad esempio un utente deve inserire un nome di città tipo L'Aquila o un cognome come D'Andrea che gli dici di cambiare residenza e cognome???

A parte gli scherzi, hai due soluzioni

1) nell'evento OnKeyPress metti questo codice:
if Key = '''' then Key := Chr(0);

2) consenti l'inserimento dell'apice raddoppiando gli apici al momento di salvare la stringa nel database:

function Apici(Text : AnsiString) : AnsiString;
//raddoppia gli apici nella stringa
var
i : integer;
AuxString : AnsiString;
begin
AuxString := '';
for i := 1 to length(Text) do
if Text[i] = '''' then AuxString := AuxString + ''''''
else AuxString := AuxString + Text[i];
result := Auxstring;
end;