La soluzione più utilizzata è appunto quella delle media query.

Un sistema per rendere semplice l'impostazione del font-size di tutta la pagina e dei vari contenuti, in un layout responsive, sta nell'applicare al body un valore di base (che potrebbe essere espresso in px) mentre per tutti i vari contenuti della pagina utilizzare l'unità di misura rem (o eventualmente em).

In questo modo ti basta definire solamente il font-size per il body nei vari breakpoint, così tutti i contenuti con rem si baseranno su tale valore.

A questo punto non ti resta che giocare un po' col valore del font-size applicato al body nelle varie media query per capire quale dimensione può andarti meglio.