Io in tutti i contratti che faccio dico che non sono obbligato a fornire i file sorgenti.

Se tu ti fidi cecamente di questo qui è un conto, ma in un'altro caso non darei cosi facilmente i sorgenti. Al limite solo ad una certa, elevata, cifra. Con i sorgenti lui può fare o far fare il tuo lavoro da chiunque sappia smanettare un minimo. Per il mio lavoro (web designer) soprattutto. Visto che preparo i miei progetti in modo che un'eventuale aggiornamento sia più semplice possibile, anche per me se prendo in mano il lavoro dopo molto tempo, e questa mia precisione nell'organizzare le cose non la do via cosi gratis e facilmente.
Un vecchio saggio cinese, mille hanni fa disse: "Se gli dai i sorgenti non lo rivedrai più."

Appunto, non conosco i vostri rapporti ma le scuse che hai elencato, se le ha dette davvero, sono patetiche.
Per la sicurezza dei dati devi pensarci tu, se ti va a fuoco il PC con i CD sono cavoli tuoi e tu dovrai rifarteli tutti, se dovessi partire per l'estero lui non ha il diritto di passare il tuo lavoro sorgente ad un'altro, al limite lo assumerà e glieli farà rifare.