il modo da te descritto e' il piu' corretto, ma poi devi lavorarci con i css e in quel caso ti devo spostare nella sezione dedicata ai css

un'alternativa e' fare i pulsanti a mo' di immagine e piazzarli direttamente dentro alla cella e allora questa e' la sezione giusta (per creare i pulsanti, intendo, poi nel caso la sezione giusta sarebbe html)

dimmi tu se vuoi che ti sposti in css o cosa preferisci