Ti suggerisco di utilizzare http://www.php.net/readfile (o funzione equivalente) ed di effettuare l'unlink() dopo aver inviato i dati al browser.

Nel tuo caso, è inutile caricare in memoria il file. Inoltre una azione del genere potrebbe far bloccare l'esecuzione del PHP (vedi http://www.php.net/manual/en/ini.cor...i.memory-limit)