Inanzitutto devi dire quale sistema operativo usi.
Secondo la scelta della usb è pessima, non si può accendere un led da una porta usb "cosi a secco", io ti consiglio di comprare un convertitore usb->lpt e farti una bella ricerca su internet su come comandare l'lpt.
In alternativa ci vorranno due chip, uno che codifichi l'usb e l'altro che trasformi il dato seriale in parallelo,una breadboard e un briciolo di conoscenza elettronica.
Se ti affascina il mondo dell'elettronica e ci vuoi giocherellare io ti consiglio l'acquisto di una scheda arduino uno,30€,pronta all'uso, la programmi in c e la colleghi semplicemente al computer con l'usb.
Puoi dialogare tra arduino e il computer in maniera semplice ed esistono migliardi di tutorial on line che spiegano ogni sorta di progetto,esistono poi shield(schede) predisposte anche a fare il caffè.Se poi aggiungi che l'ide è completamente gratuito ed esistono migliardi di sketch(programmi) opensource capisci in automatico che è la miglior scelta per "giocare" con l'elettronica.