Potrebbe essere che x11vnc si apre su una porta diversa da quella a cui si connette il client (o diverso display in gergo vnc).
Prova a dare netstat -tunpel , da root, dopo aver avviato l'x11vnc cosi` si vede su che porta e`, se c'e`.