(2 e 1) e (1 e 2) sono sempre due cose diverse a livello di una tabella. Se vuoi fare scattare un errore lo devi programmare.

Comunque mezza idea ce l'avrei (ma non sono abbastanza ferrato in matematica per esserne sicuro). Aggiungi un campo. Poi crei un indice su quel campo che definisci come UNIQUE. E dentro metti il valore log(a)*log(b). a è il primo valore, b è il secondo.