No, non si fa cosi'. Se leggi la pagina del manuale su mysql_query vedi che e' possibile specificare un secondo argomento, che e' il link al database (creato con mysql_connect).

Se poi i database risiedono sullo stesso server e ad essi si accede con lo stesso utente, allora non servono neanche due connessioni ma basta specificare database.tabella nella query.