Il modo più sicuro per poter proteggere dati (in questo caso files) sensibili è metterli dentro un database.
Se sono fisicamente sul server è difficile (se non impossibile) inibirne la visualizzazione tramite chiamata dal browser (o con software di download tipo get right).
La soluzione forse più sicura è quella di memorizzare i file direttamente su database (per info c'è questo articolo)