modifica l'esempio di andrea:

codice:
function addElem(val_id,value){
...
href.onclick=function(){removeElem(this)};
...
}

function removeElem(elem){
elem_struttura.removeChild(elem.parentNode); // elem_struttura è il tuo div contenitore
}