esprimi l'altezza del div in px invece che in percentuale
e specifica per il td che lo contiene un'altezza:

<TD height="90%" valign="top">
<DIV STYLE="overflow:auto;HEIGHT:100px;WIDTH:100%">

funziona anche il viceversa:

<TD height="200px" valign="top">
<DIV STYLE="overflow:auto;HEIGHT:100%;WIDTH:100%">