Se imposti un'altezza per un elemento, il browser si attiene a quell'istruzione.

Dovresti usare una height:auto se vuoi che il div si espanda e contragga automaticamente.