ma per il little/big endian?? Non succedono casini quando invio dati binari?
Le due macchine sono x86? In tal caso non hai problemi.

per ricostruire lo stream al server, che si vede sostanzialmente arrivare uno stream di byte, come faccio??
In che senso ricostruire? Lato server avrai una recv() che ti ritornerà i dati mandati dal client.
Tali dati si presenteranno (ragionevolmente) nello stesso ordine in cui li ha mandati il client.

3) E anche al client, come faccio a concatenare in modo intelligente questi byte??
In che senso concatenare?