Devi prima costruire la stringa (ad esempio con sprintf), quindi chiamare system. Nota comunque che il valore restituito da system è il return code della shell, non lo standard output del processo; se ti interessa quest'ultimo, dovrai usare qualcosa tipo popen.
In ogni caso, cercare di fare brute forcing di un hash richiamando un processo esterno non ti porterà molto lontano...il costo di creare un processo esterno (anzi, almeno due visto che system chiama /bin/sh) è superiore di diversi ordini di grandezza rispetto al costo di calcolare l'hash. Se vuoi andare a velocità vagamente decenti come minimo devi incorporare l'algoritmo di SHA1 direttamente nel tuo programma. In ogni caso non arrivi nemmeno vicino a quello che fa un programma come hashcat (che usa algoritmi estremamente ottimizzati e li fa girare in parallelo su GPU), ma almeno fai lavorare la CPU sul problema effettivo invece di fare perdere tempo al sistema operativo a lanciare processi inutilmente.