Premesso che mi fa strano che IsNumeric non funzioni puoi sempre provare con TryCast o con un cast in un semplice blocco Try/Catch (ma questa la lascerei come ultima spiaggia)