Non serve chiudere la stringa ad ogni tag
L'ultimo codice non funziona perché hai dimenticato un punto nella terza riga.

Infine, attento agli apici: se devi inserire lo stesso apice con cui racchiudi la stringa, dovrai farlo precedere da un escape (il backslash), altrimenti il parser lo valuta come il delimitatore della stringra.

Quindi:

Codice PHP:
echo "<hr class="hr" />"; /* sintassi errata*/
echo "<hr class=\"hr\" />"; /* sintassi corretta*/