Sto già usando IsDate, è proprio li il problema!

Prova a fare IsDate("12/0508")

Ti restituisce TRUE perchè legge 01/12/508