Non c'è davvero tanto che puoi fare. Una cosa possibile è cambiare il "draggable thumb" (ovvero il blocchettino che l'utente trascina con il mouse). Puoi impostare una tua icona in modo "globale", così TUTTI i JSlider che andrai a creare successivamente avranno quella icona senza che si debba fare altro:
Icon thumbIcon = ..........
UIManager.put("Slider.horizontalThumbIcon", thumbIcon);
Invece di "Slider.horizontalThumbIcon" esiste anche ovviamente "Slider.verticalThumbIcon" per slider verticali.
Queste stringhe sono particolari, si chiamano in generale UIResource properties. Ce ne sono altre per gli slider, se fai una ricerca in rete trovi sicuramente qualche informazione.
Prova a creare e caricare una icona di es. 20x20 (o dimensioni similari).