il problema è l'apostrofo nel testo dello script: un'anagrafica

prova cosi
Me.ClientScript.RegisterStartupScript(Me.GetType, "alert", @"alert('Esiste già un\'anagrafica con il cod.fiscale o p.iva inserita');", True)

occhio sia al carattere @ che all'escape sull'apostrofo.

se non risolvi devi postare l'html della pagina che non funziona, magari non tutto ma solo la zona in cui viene renderizzato lo script.

OT
Non usare Response.Write. Quando pensi di aver bisogno di una cosa del genere usa il controllo Literal. Si tratta di un placeholder da piazzare dove vuoi nella pagina in cui puoi scriverci dell'html dentro.