Probabilmente l'errore è dovuto sia alla dimensione del vettoriale originale, sia alla risoluzione da impostare nella finestra di esportazione.
Prova a variare questi parametri, si ottengono ottimi risultati.

Comunque non è necessario un PSD se lavori con un solo livello, puoi benissimo esportare in TIFF come dice Ober.
ma la risoluzione va sempre settata!