Il fatto e' che modifichi la proprieta' css 'display' del tuo div. facendolo apparire mentre prima era nascosto.

La soluzione piu' (IMHO) semplice e' impostare un'altezza fissa del tuo div coi css e NON impostare style="display: none;"

Oppure riempi il tuo div con degli spazi. Poco elegante ma efficace