Intercetta l'evento OnKeyDown e inserisci questo codice nel metodo che gestisce tale evento:
codice:
if Key = VK_DOWN then
  Key := 0;
Quando si preme la freccia giù, il tasto viene sostituito con il codice 0 (zero), quindi viene assorbito.

Analogamente, è possibile inibire anche tutti gli altri tasti indesiderati.

Ciao!