Se fai uso di Inno Setup, puoi seguire le istruzioni riportate in questa pagina.

Va detto che il BDE è stato dichiarato "deprecato" da tempo, ormai da 6 anni, in favore di librerie più leggere e ottimizzate come la libreria dbExpress, anche se siccome utilizzi la versione 4 di Delphi, non hai effettivamente molte alternative.

Ciao!