poiché hai elementi flottanti, quando si sposta in alto l'ultimo elemento della riga si libera dello spazio e il div con float che si dispone alla riga successiva perché non entra in quella precedente tende a risalire. Dovresti dunque impostare lo spostamento su un div interno lasciando invariata la posizione di quello che flotta