essendo le dimensioni fisse, sia in larghezza che in altezza, per ovviare al problema potresti posizionarli in modo assoluto. In quel modo sei certo che stiano fermi.
Altrimenti, dando ai due div interni overflow: auto ti compaiono le barre di scorrimento ma non si muovono di lì. Oppure con overflow: hidden il contenuto eccedente non viene visualizzato, ma i div rimangono al loro posto.
Fai qualche prova di questo tipo