Se hai tanto codice NON php, la cosa migliore... e' metterlo fuori dai tag php: chiudi con ?> scrivi il codice html/JS e riapri con <?php quando ricomincia il codice PHP.

Altrimenti puoi usare le virgolette doppie all'interno della stringa, con un backslash davanti:
Codice PHP:
echo "testo \"con\" virgolette";