Ti crei una tabella url_singoli

insert into url_singoli(
SELECT * from tabella GROUP BY url);

nella quale inserisci solo i record senza doppioni

e poi elimini la vecchia tabella. Dovrebbe funzionare.