Sinceramente io credo che kde si sia appesantito (e le ultime versioni non mi piacciono molto)
Gnome è buono.
Con Xfce ti vengono a mancare alcune piccole cose. Come il comando incolla nel menu (click destro) del Desktop...

Io direi Ubuntu+ i consigli che trovi su pollycoke.net su come "snellire" ubuntu. hanno fatto miracoli sul mio pc.