Devi aggiungere la clausola WHERE.

codice:
$oggi = datadioggi;
$query = @mysql_query("SELECT ip,date FROM $table_visite WHERE date = '$oggi'",$connect); 
$visite = mysql_numrows($query);
dove datadioggi è, appunto, la data di oggi. Bisogna però capire se per le date hai usato un timestamp o un valore di tipo varchar o text. Nel primo caso puoi generare direttamente da php la data di oggi. Vedi qui:

http://php.net/manual/en/function.date.php