Vediamo se riesco a spiegarmi:
Se tu dai "col-sm-10" al div questo diventa 10/12 del div che lo contiene, ma se dentro questo div ne metti un altro senza dargli misure col-sm-qualcosa a quel punto questo div (che poi è #map nel tuo caso) prende le dimensioni del proprio contenuto, che è una mappa senza alcuna dimensione in questo caso, a questo punto quindi bisogna dare una larghezza anche al tuo #map e quindi bootstrap in questo ti viene incontro con le sue colonne.
Si a questo punto dovresti dargli un'altezza a mano oppure facendolo adattare a qualcosa. Da quello che ho capito tu vuoi una mappa che si adatti all'altezza del dispositivo con cui la si guarda giusto? Perché in questo caso sarebbe un po' più complicato che mettere solo delle misure a mano...