La funzione IsDate() ti dice se un'espressione può essere interpretata come data, il che è vero anche per 11/125 (novembre 125). Dovresti aggiungere delle limitazioni al formato di inserimento, oppure dividere la casella di testo in tre (una per il giorno, una per il mese e una per l'anno). Non mi vengono altre idee, ma di sicuro ce ne sono.
C'è qualcosina in più sulla funzione IsDate qui.

In alternativa prova se ti può andare bene un controllo DateTimePicker.