Immagino che il testo della label venga inserito dall'utente tramite una TextBox o amici vari. In questo caso l'utente potrebbe inserire qualsiasi cosa nella label. Quando tu vai a prelevare il valore dalla label (che è di tipo string) e tenti di salvarlo in una variabile di tipo short possono accadere due cose:
primo: il testo è numerico e la conversione avviene senza problemi;
secondo: il testo non è numerico e la conversione genera un'eccezione.

Per evitare una cosa del genere basta scrivere un controllo che verifichi che il testo sia effettivamente numerico (tipo questo):

codice:
 If IsNumeric(Label1.Text) Then
            '...
        Else
            '...
        End If