Una possibile soluzione, anche se forse non è ciò che stai cercando, è quella di cambiare la proprietà FlatStyle del button in FLAT o POPUP.

In alternativa ti crei un controllo utente personalizzato, inserisci un BUTTON e disegni il bordo con un colore a tua scelta.