Ciao, per farla sbrigativa con 2 soli div questo funziona

$('#container div').click(function () {


if( $('#container div').eq(0).attr('id')== this.id ){
$(this).appendTo('#container');
}else{
$(this).prependTo('#container');
}



});


per più div va modificato un po... vedi tu

PS quello che hai messo sopra si blocca perche' se guardi la sorgente(io uso firebug) vedi che cambia l html..... il div cliccato finisce dentro all altro