dai che ci siamo quasi:
in teoria nella clausola IN occorrono i singoli apici, però sono solamente numeri, ora prova a togliaeri gli apici da user_level

Codice PHP:
SELECT inserzione.id FROM inserzione LEFT JOIN utenti ON inserzione.scritto_da = utenti.user_id WHERE inserzione.id IN ( 16,14,11,9,8 ) AND ( user_level > 2 OR scritto_da = 5 )