Basta fare l'escape dei caratteri PHP.
Come ti ha suggerito Takeno, poi, è consigliabile fare anche il replace dei caratteri HTML, per essere sicuri che vengano stampati a video come caratteri alfabetici.

Esempio.
Codice PHP:
$nome "Pippo";
echo 
"La variabile \$nome è uguale a $nome";
// restituisce
// La variabile $nome è uguale a Pippo 
È questo quello che ti serve???