A me così funziona correttamente:

SELECT * FROM tabella ORDER BY rating DESC, RAND()