viste le tue necessità potresti solo aggiungere il meno davanti all'elemento che ti interessa senza cancellare e aggiungere...

$array['elem'] = "-".$array['elem'];

così non tocchi l'ordine dell'array originale...