Se il div non è visibile non puoi cliccare per farlo comparire.
Per fare quello che tu vuoi fare ci vuole un link o un pulsante a parte che visualizzi o nasconda il div.
Non puoi fare le domande con se volessi o se non volessi, devi spiegare bene ciò che vuoi e il contesto di dove deve agire