credo che l'unica soluzione sia staccare il modem o quello che è e portartelo via con te

Oppure, che forse è più comodo, è sufficiente che quando non ci sei tvai alle impostazioni del modem e togli user e password (o solo la password) che il modem usa per connettersi ad internet.
In questo modo nessuno potrà usare la tua connessione.