Puoi usare http://www.php.net/array_count_values per ottenere un array con i relativi conteggi, poi usi http://www.php.net/array_filter per eliminare gli elementi con un conteggio pari ad 1, infine esegui il ciclo e NON inserisci nell'array definitivo tutti gli elementi di $array_numeri contenuti nell'array dei conteggi.