Ecco, questo era il senso.
Scusa, ma non era né automatico né scontato, seppur probabile, quindi meglio appurarlo.
Il problema è legato al fatto che il controllo del grafico non si ridisegna al passaggio della Label su di esso, e quindi lascia "sporco" la rappresentazione sottostante, fino a quando non viene detto a Windows (o il SO non stabilisce) che deve essere ridisegnata.
Prova a chiamare il metodo Invalidate() del grafico quando sposti la Label, in modo da scatenare il ridisegno.