lo puoi fare solo con i css, ma la cosa nn è molto semplice, sopratutto per un principiante.
dovresti leggerti le guide su come fare i menu con i css, e una volta compresa la tecnica, cominciare a sperimentare quindi l' effetto rollover desiderato.

cmq nn è un granchè quel menu... fidati che in giro trovi cose + eleganti e facendo meno salti mortali.