Probabilmente c'è un incompatibilità tra la lingua di Excel e la lingua del Sistema operativo.

Potresti risolvere in questo modo, visto che tale eccezione la solleva nel momento in cui aggiungi il Workbook:

codice:
  Dim wapp As New Microsoft.Office.Interop.Excel.Application
        Dim wbooks As Excel.Workbooks
        Dim wbook As Excel.Workbook
        Dim wsheet As Microsoft.Office.Interop.Excel.Worksheet
        Dim range As Excel.Range

        Try       
            wbooks = wapp.Workbooks
            Try
                wbook = wbooks.Add  'Qui si verifica l'eccezione
            Catch ex As Exception
                System.Threading.Thread.CurrentThread.CurrentCulture = System.Globalization.CultureInfo.CreateSpecificCulture("en-US")
                wbook = wbooks.Add
            End Try
            wsheet = CType(wapp.ActiveSheet, Excel.Worksheet)

            wapp.Visible = False
            wsheet.Application.DisplayAlerts = False
            wsheet.Columns.ColumnWidth = 13

            wsheet.Cells(1, 1).Value = "Mio valore"