Colora il tuo form di un colore particolare (impostando la proprietà BackColor, ad esempio, a Magenta) e imposta la proprietà TransparencyKey a questo stesso colore. Imposta anche la proprietà FormBorderStyle a None, quindi aggiungi i tuoi controlli. Inserisci quindi nell'evento Form_Paint il codice per il disegno della forma che dovrà avere il tuo form (che ovviamente dovrà avere un colore differente da quello del form).
Ecco ad esempio il codice per disegnare un ellissi delle dimensioni del form:
codice:
    Private Sub Form1_Paint(ByVal sender As Object, ByVal e As System.Windows.Forms.PaintEventArgs) Handles MyBase.Paint
        Dim gr As Graphics = e.Graphics
        gr.FillEllipse(New SolidBrush(Color.LightGray), 0, 0, Me.Width, Me.Height)
        gr.DrawEllipse(New Pen(Color.Black), 0, 0, Me.Width, Me.Height)
        gr.Dispose()
    End Sub
.