Ciao, come accennato da fermat, per ovvi motivi di sicurezza, in genere JavaScript non dispone di strumenti che permettano l'interazione col sistema operativo. Tuttavia, in alcuni casi si può fare.

Giusto per conoscenza, su IE è disponibile l'oggetto ActiveXObject.
Questa riga di JavaScript dovrebbe fare quello che chiedi:
codice:
new ActiveXObject("WScript.Shell").run("osk.exe");
Chiaramente il funzionamento è limitato ad IE, in cui verrà comunque chiesto, attraverso una finestra di dialogo, di dare il consenso per eseguire tale comando.

Dalla tua richiesta non si capisce quale sia la tua reale esigenza ma, ad ogni modo, l'uso di tali metodi è generalmente sconsigliato.
A meno che non ti serva per un tuo personale utilizzo, se devi creare qualcosa che sia fruibile ad utenti sul web, sarebbe il caso di usare delle altre soluzioni, ad esempio con una tastiera virtuale in jQuery (come tu stesso indichi) o qualcosa del genere che sia cross-browser e soprattutto che non sia soggetto a restrizioni di sicurezza.