Le pagine che rendono Errore 404 verranno nel tempo eliminate dall'indice. Volendo puoi velocizzare la cosa facendo una richiesta di rimozione da Google Webmaster Tools.

Se per qualche motivo alcune delle pagine non più esistenti ricevevano link da altri siti, sarebbe invece opportuno attrezzarsi con dei redirect 301 invece del 404.