Sì che possono essere inseriti, anche perché di fatto il tag INPUT è interpretato dal browser, a cui i tag PHP non arrivano essendo interpretati PRIMA dal server.
Però manca un uguale, non è <?$variabile?> ma <?=$variabile?>