Metti un line-height: 20px; height: 20px; nella classe della cella, così, anche se la cella risulta vuota, sarà sempre di altezza pari a 20px.