puoi mettere tranquillamente il delete, perchè quando readfile ha finito l'esecuzione ha già trasferito tutto l'output al webserver, che poi è lui a vedersela con il client, tu puoi già cancellare tranquillamente il file.

In ogni caso stai attento con file particolarmente grossi, potresti avere problemi di uso della memoria che potrebbero portare all'interruzione dello script. Ti conviene fare alcune prove per il download.