Puoi sfruttare la proprietà bordercolor="#FFCC00" delle celle, però il bordo della tabella deve essere impostato almeno a 1, altrimenti non vedi niente. Oppure puoi crearti un CSS da apllicare alla cella:
codice:
.cella {
  border: 1px solid #FFCC00;
}

<td class="cella"></td>