Il file composer.json fa parte del tool composer, che è una cosa diversa da git. Possono lavorare insieme ma sono 2 cose distinte.

Nel caso in cui ti da l'errore stai usando composer per scaricare il tuo repository, probabilmente non funziona perché il tuo repository ha bisogno di un qualche tipo di autenticazione, dipende da come è configurato il tuo server git, guarda la doc che ti ho linkato prima, li c'è tutto. Il mio pezzettino di config era giusto per farti capire in che direzione procedere.

Nel secondo caso usi git per fare un clone del repository, questo funziona ma benché possa sembrare più o meno la stessa cosa sono, come ho detto prima, due strumenti completamente diversi.