il QoS è relativo e non fa miracoli.
Qui per gestire bene la situazione ti serve un firewall.
Non conosco firewall gratuiti, il mio consiglio è di prendere/farti un pc con due schede di rete, montarci un sw firewall e da lì gestisci la rete, bilanciamenti e tutto quello che vuoi.
Con un router, per quanto possa essere nuovo e performante è comunque molto limitato.