basta che metti
<link rel="Shortcut Icon" href="favicon.ico" type="image/x-icon" />
tra i tags <head>

devi avere già l'immagine .ico (16x16) nella root del tuo sito