Span allineato verticalmente rispetto a image

[pictor]

Sto cercando di creare un pulsante con immagine+testo, però non riesco ad allineare verticalmente il testo rispetto all'immagine.

<div id="CloseButton">
    <input type="image" src="[URL]" />
    
    <span>Chiudi</span>
</div>

#CloseButton {
    position:absolute;
    top: 2px;
    right: 2px;
    vertical-align: middle
}

#CloseButton input {
    border: 0;
}

Ho provato ad usare vertical-align, line-height, height e tutto un pò ma non riesco ad allineare lo span a metà dell'altezza dell'immagine/input.
Mi sta sempre allineato alla linea di base (bottom) dell'image.

Credo sia facilissimo ma mi sfugge il 'come'

Un suggerimento perfavore

Grazie