Sbagli completamente il metodo. In quel modo stai solo assegnando alla proprietà .Image della PictureBox una Bitmap vuota che di sua natura ha lo sfonfo nero. L'elisse che disegni col metodo .CreateGraphics non ha niente a che vedere con la proprietà .Image della PictureBox in quanto le due cose non sono correlate.

Il codice corretto è il seguente:

codice:
  Dim bmp As New Bitmap(PictureBox1.Width, PictureBox1.Height)
        Dim g As Graphics = Graphics.FromImage(bmp)
        g.Clear(Color.White)
        g.SmoothingMode = Drawing2D.SmoothingMode.AntiAlias
        g.FillEllipse(Brushes.Blue, New Rectangle(10, 10, 50, 50))
        bmp.Save("C:\myPic.bmp", System.Drawing.Imaging.ImageFormat.Bmp)
        g.Dispose()
dove coloro lo sfondo della Bipmap di bianco, applico l'AntiAlias per migliorare la scalettatura dell'ellisse.