la delete funziona già come vuoi tu.
Se trova i record da eliminare, lo fa, altrimenti non elimina niente senza per questo generare alcun errore.

Se hai MySQL 4.1 o superiore puoi eliminare i record da entrambe le tabelle contemporaneamente con una sola query DELETE.