L'unico modo per risolvere presto e bene è creare dei redirect 301 dai vecchi url ai corrispondenti nel nuovo CMS. Nel caso questo per qualche motivo non sia possibile, almeno assicurati che i vecchi url rendano 404, così che i motori prima o poi li rimuovano dai loro indici.