Si fa così:
- selezioni il collegamento al programma
- tasto dx del mouse
- proprietà
- cambia icona
- scegli quale preferisci
- applica --> ok

Fatto.

Occhio che alcuni programmi ne hanno solo 1, e quindi potresti incontrare difficoltà.