Il plugin in questione è Frontier Post, fortunatamente prevede un template e ho agito direttamente su quello.

Mi sarebbe piaciuto potere risolvere direttamente nella pagina visto che lo shortcode l'ho usato in più pagina, alla fine ho risolto utilizzando un template custom e tramite l'ID della pagina visualizzo o no il mio div.

Non è una soluzione pulita, ma al momento è l'unica possibile.