per velocizzare debian se hai una macchina abbastanza potente basta ricompilare il kernel alleggerendolo delle parti che non utilizzi magari l'ultimo che non va male controllare che il dma sia attivo
di servizi non ne avvia di fastidiosi o inutili in genere
xorg io per ora lo eviterei non mi sembra stabilissimo a me da sempre problemi con diverse distro che lo mettono di default tipo slack o mandrake-cooker

io uso sempre kde e non so consigliarti molto sulle alternative
per quanto riguarda ohci o uhci devi scegliere quello che riguarda la tua mobo
se hai i chipset sis devi mettere ohci se hai via o intel devi mettere uhci se hai le usb 2 devi mettere ehci ed uhci
le librerie grafiche dipendono da cosa installi è difficile sceglierle