Peggio, quell'espressione effettivamente moltiplica per 5 il contenuto della cella; se vuoi verificare se una cella è multipla di 5 devi verificare se:
codice:
    mat[i][j] % 5 == 0
Il resto del codice comunque non ha senso, allochi della memoria e poi ti limiti ad incrementare un puntatore - che effetto speri che abbia sul contenuto del vettore che hai allocato? Se devi solo contare i numeri multipli di 5 allora ti basta usare un normale intero ed incrementarlo, se invece li vuoi copiare nel vettore che restituirai devi anche copiarci i valori man mano che li trovi.