dovresti usare left join in modo da avere tutti i record della tabella a sx (quella in from) contro gli elementi presenti in quella in join.

codice:
SELECT user.id
FROM user 
LEFT JOIN user_rel ON user.id=user_rel.user_id
WHERE user_rel.user_id IS NULL