Ci sono tanti modi... per esempio uno è quello che utilizza questo forum... quando clicchi su uno smile sulla texarea compare un codice come ::aabb22ll:: (esempio)...

prima di stampare il messaggio del guestbook fai

Codice PHP:
ereg_replace("::aabb22ll::", "<img src=\"smile.gif\">", $msg)