Se ho ben capito devi far viaggiare un file criptato verso il client, ma poi che ne devi fare di questo file? salvarlo?
riepilogando:

- hai un file sul server, lo leggi con php, lo cripti al volo con php, lo invii al client

- sul client lo ricevi e lo devi salvare sul pc locale dopo averlo decriptato

Giusto? non si puo' fare:

- hai difficolta' a ricevere una grande mole di dati in ajax, considerando che per ricevere "bytes" e non stringhe dovresti ulteriormente codificarli/decodificarli in BASE64

- hai difficolta' in termini di risorse (ram e tempo di elaborazione) a gestire grosse moli di dati

- hai difficolta' a nascondere realmente i dati che passano: se sul client devi decodificarli il client deve necessariamente essere a conoscenza delle funzioni da utilizzare ma sopratutto (udite, udite!) deve conoscere la password. E se la conosce il il client e' un segreto di pulcinella

Non so per quale motivo tu sia costretto ad utilizzare la combinazione server-web -> browser per fare queste operazioni, ma se proprio devi l'unica soluzione e' utilizzare un protocollo protetto (https://) oppure servirsi di un corriere espresso fidato