Crea una icona e salvala con il nome "favicon.ico".
Poi mettila nella cartella principale del tuo sito.

Tutto qua.
Visto che facile?