il pezzo di codice che hai postato è giusto di per se.
ma evidentemente ha un comportamento che non ti aspetti (presumo).
ma, sarò scemo io, continuo a non capire dove sta il problema.
cioè, qual'è il comportamento che dovresti avere?
cosa invece succede?
cmq, se il problema è che devi "terminare" una activity quando esci, allora ti invito di nuovo a guardare il codice postato prima.
nello scpecifico nell'evento onDestroy.