Ajax non invia file binari ma solo stringhe alfanumeriche, per inviare il file al server o usi un iframe o usi flash, in sintesi per spiegarti come già aticipato con ajax non puoi inviare file binari. La soluzione più pratica e cercati uno script upload (in rete ne trovi diversi) che ti vada bene