L'errore è concettuale. Se vuoi che anche coeff si aggiorni dovrai passare un puntatore a coeff (e quindi un int **, un puntatore a un puntatore a int) perché la subroutine lo possa modificare. In ogni caso la prima allocazione di coeff sembrerebbe inutile (tanto poi ci pensa il realloc ad allocare la memoria che serve per davvero, se non usi coeff prima che in enterCoeff limitati ad inizializzarla a NULL), mentre la continua riallocazione dell'array può condurre a problemi di performance.