Visto che avevi postato in PHP e non in DATABASE pensavo che volessi anche un po' di php!!

cmq se volevi saltare il controllo php ti bastava aggiungere HAVING COUNT(*)=2 alla fine della select

codice:
SELECT id_argument, count( * ) AS conta FROM tabella WHERE id_user IN ( 1, 3 ) GROUP BY id_argument HAVING COUNT(*)=2
e ti tirava fuori già solo il record giusto (e in maniera più performante della soluzione con INNER JOIN ...direi)
row0:6,2


ciao
p.h.