Ma una volta che MySQL ti restituisce un result set già ordinato che dovresti fare più di un fetch con PHP?

Comunque spiega anche meglio come è fatta la tabella dei voti: come è relazionata con quella degli oggetti (suppongo tramite id) e se i voti sono tutti in un campo separati da virgola come hai scritto o se sono ognuno per fatti suoi.