Potrebbe anche dipendere da come lo applichi nel senso che se aumenti la luminosità di tutti e 3 i canali dello stesso valore magari da un brutto risultato ... potresti provare ad aumentare la luminosità dei canali RGB in proporzione al loro valore

Cioe se R è 100, G e 150 ed infine B e 200 consideri B come 1, G come 150/200 quindi 0,75 ed infine 100/200 ovvero 0,50 ... fatto questo se vuoi aumentare la luminosità di 10 punti fai R+10, G + 10 * 0.75 e B+10*0.5

Ovviamente questo non ti aumenta la luminosità però potrebbe darti un risultato migliore perché non dovrebbe farti sfasare i colori

Alternativamente potresti provare a lavorare con i canali HSV (hai in mente quando vedi vedi quei cerchi concentrici con i colori dentro ed un triangolo con l'intesità del colore piuttosto che il quadrato con i colori e la luminosità ... ecco) e variare la componente che ti interessa (o magari con HSL dato che a te interessa la luminosità)

http://web.forret.com/tools/color.asp
http://en.wikipedia.org/wiki/HSL_color_space