La differenza, come hai anticipato tu, è che MyBase si riferisce alla classe da cui erediti mentre Me. se riferisce alla classe corrente.

Per cui se la classe da cui erediti ha un metodo che si chiama 'MioMetodo' e poi tu ridefinisci tale metodo nella tua classe, se chiami MyBase.MioMetodo chiami il metodo originale se chiami Me.MioMetodo chiamerai il metodo ridefinito.