Ti basterebbe intercettare il carattere punto (.) e la virgola (,) sostituendoli con il separatore decimale impostato a livello di sistema.

codice:
procedure TForm1.Edit1KeyPress(Sender: TObject; var Key: Char);
begin
  if Key in ['.', ','] then
    Key := DecimalSeparator;
end;
Ciao!