Da' a ciascuno dei div piccoli:
width: 49.9%;
float: left;

Dovrebbe essere sufficiente per ottenere quello che chiedi.

Alla fine ricorda di mettere un clear (ad esempio in un :after del contenitore, come suggerito in [Pillola] FabClearing, un metodo crossbrowser alternativo per il clearing dei float).