Devi fare un contenitore nonno per i due.
Inoltre, dove si sposta il div, servirebbe un altro contenitore.

Ma, in ogni caso è una pessima pratica fare un :hover su in intero div.

Usa qualche script...

Hai un link alla pagina?