ciao!

nel complesso sono simili, ma Bootstrap è anche e soprattutto responsiv, mentre jQuery UI no.
inoltre Bootstrap è nel complesso più completo e con tantissimi plugin e template.
ed è supportato anche da varie CMS come Wordpress (tanto per dirne uno).

ma direi che la maggior differenza è la prima.

io personalmente uso Bootstrap (o simili come Foundation), e uso jQuery UI solo per alcune cose (tipo autocomplete).