Ciao,
purtroppo ti stai muovendo su un terreno difficile perché queste cose dipendono da vari fattori (come i settaggi di excel e le impostazioni internazionali) che sono difficilmente individuabili, pensa che a me, invece di scomparire, i doppi apici si triplicano, nel senso che ciascun doppio apice viene racchiuso fra doppi apici nel file di output.

Se questa operazione devi farla solo occasionalmente ti suggerirei di intervenire in "post-produzione", cioè di uilizzare un carattere meno delicato del doppio apice (ad esempio il segno di paragrafo) e poi riaprire il file csv col blocco note e sostituire tutti i segni di paragrafo con doppi apici.

Lo so che non è una bella soluzione ma è abbastanza veloce.

Se invece è un'operazione che devi ripetere con frequenza, nei prossimi giorni provo a farti un VBA.