perche' lo spessore dei bordi e' in punti? tu ad occhio togli 3 px ma questo rapporto e' arbitrario

poi, setti nuovamente le misure come erano al mouseup?
io noto una bella discrepanza se clicco su quello arancione (2) senza draggare, clicco su 1 e poi nuovamente su 2

poi prova a cliccare su 4, si trovera' effettivamente piu' in alto di quanto ti aspetti
(non farti influenzare dallo z-index, perche' copri ma e' fuori posto)
questo lo fa scivolare