CIao, intanto puoi provare a settare direttamente true la propshow modal dalla Home e vedere se almeno appare. Il close dalla modale va a settare showModal del componente stesso ma in realtà la props sta nello state della home. Io sposterei quindi showModal nel componente stesso e gestire tutto da li. L'altrenativa è richiamare dal componente dialog la funzione per il cambio di showmodal (che starà in home)
PS
non ti serve avere 2 funzioni open/close, ne basterebbe una per invertire lo stato tipo:
codice:
this.setState({showModal: !this.state.showModal})