Appunto. Usando gli ObjectStream non ottimizzi nulla e come hai detto, per molti file e di grandi dimensioni è lento.

Devi cambiare metodo, senza gli ObjectStream, come ha detto VincenzoTheBest, secondo una qualche regola prima mandi il nome del file come stringa e pi il contenuto del file usando i BufferedStream (sicuramente moolto piu' ottimizzato che mandare l'oggetto File tramite gli ObjectStream)