Ciao,
la funzione rand, come suggerisce il nome, genera numeri casuali (in realtà pseudo-casuali), quindi tu, giustamente, non hai il controllo sui numeri generati.
Quello che puoi fare per evitare numeri ripetuti è continuare a "estrarre" (cioè generare) un nuovo numero fino a quando non ne trovi uno che vada bene.

Quindi l'algoritmo può essere il seguente:
1. generi un numero
2. scorri l'array dove memorizzi i numeri casuali
3. se il numero non è presente allora lo inserisci e torni al passo (1)
4. se il numero è già presente ne generi un altro e torni al passo (2)