non ho mai usato jquery in modo serio per cui non mi sono fatto un'idea definita al riguardo. Però tra mootools e prototype + scriptaculous suggerisco la prima libreria, per diversi motivi, primi fra tutti

- la sua modularità (puoi crearti la libreria ad hoc in base ai componenti che ti servono), poi

- la facilità di inclusione (1 file contro i consueti 4/5)

- la leggerezza (esempio con la lightbox: devi includere 103kb di script per un semplice layer con qualche effetto di transizione. Slimbox per mootools che è identico e scritto meglio l'ho incluso con 26kb [12 se compressi lato server])

- C'è in generale una maggiore rigorosità nel codice da parte di chi sviluppa plugin per mootools (che non per prototype+scriptaculous), quindi anche eventuale modifica del codice che trovi, dovrebbe essere più facile: in questo momento sto pensando alla lightbox vs slimbox

Di recente ho messo mano a lightbox per permettere alle thumbnails di trovarsi in un iframe e fare aprire il layer nella finestra 'top'... non è stato proprio banale farlo.