Ripensandoci per i tasti-freccia su Linux credo che ti basti interpretare le sequenze di escape che vengono generate alla pressione di tali tasti.