Fare una query di select in continuazione al database non credo sia per niente consigliabile.

Prova a cercare su google: chat in php.
Trovi subito una guida su come creare una piccola chat con solo php, ma niente di grandioso.

Se vuoi fare qualcosa di più invece credo ti serva ricorrere alla tecnica Ajax.