Premesso che possono esserci molte soluzioni, grosso modo io procederei così.

Una funzione che confronta due righe e restituisce un valore booleano che indica se sono "simili" o meno. Per "simili" si intende che abbiano cinque o più numeri uguali anche se in posizioni diverse.
Per fare il confronto può essere utile un'altra funzione che ordina i numeri di ciascuna riga.

Con un ciclo principale (For...Next) si esamina ciascuna riga e, con un ciclo secondario e interno al precedente, la si confronta (tramite la funzione di cui sopra) con tutte le righe successive; quelle "simili" si marcano in un modo qualunque, per esempio impostando a zero o ad un altro valore convenzionale il primo numero della riga "simile".

Al termine del ciclo principale si copiano tutte le righe non marcate come "simili" in una nuova matrice.