Non puoi usare quella sintassi su un pulsante submit (o image, che ha uguali effetti), devi usare l'evento onsubmit applicato al form:

<form onsubmit="return confirm('Sei sicuro di voler uscire dalla pagina?');">

Inoltre fai attenzione all'uso degli apici singoli e doppi