Scaricare il file da Google Drive senza essere tra le istanze condivise, a meno di non renderlo pubblicamente accessibile, sarà dura.
C'è poi il rischio di dover utilizzare in qualche modo una "integrazione" con il servizio per poter accedere alle risorse.

A mio avviso, esistono soluzioni più efficaci per memorizzare dati nel cloud affinché siano disponibili a tutti i client che eventualmente devono farne uso. Ad esempio, prova a dare un'occhiata a Firebase.

Utilizzando un backend di appoggio, puoi esulare dal download di un file JSON intero e richiedere al server i dati specifici che ti servono.

In alternativa, puoi valutare di creare il tuo backend personalizzato usando un linguaggio lato server (es. JavaScript Node, C#, PHP, Delphi, ecc.).

La tematica è piuttosto ampia, perciò è difficile trattarla qui in modo esaustivo.

Ciao!