Premesso che il codice per creare il form puoi anche metterlo fuori dal codice php in modo che il tutto venga un po' più ordinato, al tag form devi anche metterci quantomeno l'action, o alla pressione del pulsante submit non vai da nessuna parte.
Se vuoi usare la stessa pagina puoi specificare $_SERVER['PHP_SELF'] come action, ma devi poi eseguire il codice del login solo se $_POST è settata (dovrai verificarlo) altrimenti la select viene eseguita anche la prima volta che arrivi sulla pagina.

Cerca di scrivere codice un po' pulito che quello che hai proposto è da mettersi le mani nei capelli.

Codice PHP:
<?php
$con = mysql_connect("localhost","root","pass") or die('Could not connect: ' . mysql_error());
mysql_select_db("test", $con) or die('Impossibile selezionare il database: '.mysql_errno().': '.mysql_error());
?>
<html>
    <head></head>
    <body>
        <form method='post'>
            Username 
 <input type='text' name='user' />

            Password 
<input type='text' name='password' /> 

          
            <input type='submit' value='Submit' />
        </form>
    </body>
</html>