Ho risolto il fatto che trascina tutto contemporaneamente.
Per l'altro problema,significa che se nell'animazione inserisco dei pulsanti trascinabili non mi conviene sostituire il puntatore!