No, non dovresti cercare di installare la libreria separatamente dal tuo programma e dalle altre librerie necessarie.
Un installer serve a "confezionare" un pacchetto di installazione (generalmente un unico eseguibile) che contiene tutto il necessario per far girare la tua applicazione su qualunque computer.
Documentati un po' su InnoSetup e/o CyberInstaller. Il primo presuppone che tu sappia con precisione cosa è "tutto il necessario", il secondo cerca di scoprirlo da solo (e ci azzecca abbastanza).
Puoi anche usare quello distribuito insieme a Visual Studio che si chiama "Preparazione pacchetti di installazione" (mi pare) o Package and Deployement Wizard, ma non funziona molto bene; però può essere utile per individuare tutti i file necessari che, vedrai, sono molti di più di quelli che immagini.