La risposta non era sbagliata, lo è il codice che hai scritto (dato che solleva un errore di sintassi).

Visto che non sembra tu abbia realmente intenzione di imparare ad utilizzare il PHP, ma cerchi solo della pappa pronta, ecco quello che vai cercando.

Codice PHP:
echo '<input name="cancella" type="Submit" value="Elimina" />'
Se poi vuoi capire perchè questo codice funziona perfettamente, mentre quello che hai scritto tu no, basta che leggi le pagine del manuale ufficiale che ti sono state indicate.