Non dici in che linguaggio stai scrivendo (DOCTYPE), ma assumo che non sia XHTML (perche` ci sarebbero altri errori di sintassi)

L'overflow non dovrebbe influire su quel comportamento.
Invece dovresti dare il float:right anche al secondo blocco (quello che deve posizionarsi a sinistra).