Se al primo div dai un nome o una classe

<div id="pippo">
<div></div>
<div></div>
</div>

fai

$("#pippo > div")