Ciao,
ad occhio e croce ti direi di fare una List di int, con i tuoi numeri magari disposti in maniera non sequenziale, ad ogni estrazione generi il range di numeri casuali in base al numero di elementi nella lista dalla quale andrai a togliere il numero estratto, riducendo il numero di elementi nella lista, così facendo, il numero casuale sarà sempre un numero compreso nell'intervallo che può anche essere ripetuto, ma grazie all'eliminazione il numero corrispondente nella lista non potrà mai essere già estratto, in quanto i numeri già estratti non sono nella lista.