non devi cambiare l'estensione, ma convertire il file usando un tool come questo.

per inserire la favicon devi mettere questo fra <head> e </head> :
Codice PHP:
    <link rel="shortcut icon" href="favicon.ico" /> 
nb: il file deve avere il nome favicon.ico e deve stare nella root principale.

ps: IE6 la visualizza soltanto se il sito e nei bookmarks.