Con il controllo Rtb la cosa è abbastanza semplice; ad esempio, dopo aver selezionato il testo da formattare:
codice:
If TypeOf FrmTuo.ActiveControl Is RichTextBox Then
   FrmTuo.ActiveControl.SelBold = Not FrmTuo.ActiveControl.SelBold
End If
Dai uno sguardo alla guida, alla voce: Proprietà SelBold, SelItalic, SelStrikethru e SelUnderline, trovi un esempio d'utilizzo.