PHP la chiude da solo una volta arrivato a fondo pagina.
(dalla doc PHP: Using mysql_close() isn't usually necessary, as non-persistent open links are automatically closed at the end of the script's execution.)

Personalment cerco, dove posso, di chiuderla io con mysql_close(); per "non lasciar in giro roba", ma è chiaro che a volte se tutte le funzioni SQL (connessione compresa) sono in un file unico e non ci si fa attenzione non si chiude la connessione in fondo a tutte le pagine che usano questo file.