alla fine ho risolto così

function rimuovi(num) {
var d = document.getElementById("container");
var olddiv = document.getElementById('quadro'+ num);
d.removeChild(olddiv);


}