No, puoi mettere anche la virgola.

La sintassi...
codice:
Isnumeric(10,4)
... da errore perchè è errata. VB6 interpreta la virgola come un separatore, non come un numero, quindi in questo caso vede 10 e 4 come 2 parametri da passare al metodo IsNumeric.
Se la inserisci in una variabile non ti danno problemi ne la virgola ne il punto.

questo funziona...
codice:
Variabile = "10,4"  'è il testo che scarichi dalla textbox
MsgBox IsNumeric(Variabile) 'ti dice Vero