Ciao,
la tua domanda non è troppo specifica. Cosa intendi rimuovere?... l'ultimo elemento, tutti gli elementi, un elemento in particolare?
Ad ogni modo potresti usare la funzione removeChild.

Un esempio pratico:
codice:
<!DOCTYPE HTML>
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <script type="text/javascript">
      var listaElementi = [];// Array degli elementi aggiunti
      // Aggiunge un nuovo elemento
      function aggiungi(){
        var nuovoElemento = document.createElement("div");
        listaElementi.push(nuovoElemento);
        nuovoElemento.innerHTML = "DIV"+ listaElementi.length;
        document.getElementById("contenitoreElementi").appendChild(nuovoElemento);
      }
      // Rimuove l'ultimo elemento della lista
      function rimuovi(){
        if(listaElementi.length) document.getElementById("contenitoreElementi").removeChild(listaElementi.pop())
      }
      
    </script> 
  </head>
  <body>
    <button type="button" onclick="aggiungi()">AGGIUNI</button> 
    <button type="button" onclick="rimuovi()">RIMUOVI</button> 
    <div id="contenitoreElementi"></div>
  </body>
</html>