In generale i framework servono per semplificare la vita.
Un esempio?
Stessa applicazione,rispettivamente con angular.js, con jquery (che non è un framework ma una libreria, sempre per semplificare il lavoro) e javascript puro.
codice HTML:
<input type="text" ng-model="nome" placeholder="Inserisci il tuo nome"><h1>Hello, {{nome}}!</h1>
codice HTML:
<input type="text" id="nome" placeholder="Inserisci il tuo nome">
<h1 id="titolo">Hello, !</h1>
<script>
$("#nome").change(function () {
$("#titolo").html("Hello, " + $(this).val() + "!");
});
</script>
codice HTML:
<input type="text" id="nome" placeholder="Inserisci il tuo nome">
<h1 id="titolo">Hello, !</h1>
<script>
document.getElementById("nome").addEventListener("change", function () {
document.getElementById("titolo").innerHTML = "Hello, " + this.value + "!";
})
</script>
Beh, chiaro come accorcia, no? 
Poi... node.js non è un framework, bensì un server sul quale si programma in javascript (Per la precisione mi sembra con la versione 6 di ECMAScript)
Non conoscerli mi penalizza?
In ambito lavorativo (anche se di più lato server) la conoscenza di un framework può essere richiesta.
Uno bravo farà sempre e comunque usando javascript puro un lavoro migliore di uno non bravo usando un framework, ma probabilmente avrà delle difficoltà in più che farlo usando un framework. (E gli servirà più tempo)