L'errore è effettivamente il ; dopo la graffa.
Inquanto ai tag di apertura e chiusura non sono, errati: servono per inserire nel codice php una parte di html da scrivere.
Quindi
Codice PHP:
<?php
codice
?>
blabla
<?php
altrocodice
?>
equivale a
Codice PHP:
<?php
codice

echo'blabla';

altrocodice
?>
In questo caso non ne vedo l'utilità, ma può essere molto pratico quando, per esempio, bisogna scrivere un testo con molti apici e ", che può risultare scomodo in un echo.