Puoi usare il controllo UpDown, che trovi aggiungendo al tuo progetto i componenti Microsoft Windows Common Controls-2 6.0 (SP6). Questo oggetto prevede di essere associato ad una TextBox tramite la proprietà BuddyControl, in modo tale che cliccando su una delle due freccette il valore della TextBox viene aumentato o diminuito di uno step predefinito ed entro un intervallo predefinito.

Se invece vuoi usare dei comuni CommandButton devi impostare la proprietà Style su Graphical ed assegnare una piccola immagine (il triangolino) alla proprietà Picture.

Per convertire un numero con la virgola in un numero con il punto puoi usare la funzione Replace.

Ciao.