Nelle web application JavaEE, il Servlet container espone direttamente su http(s) verso i client tutto ciò che c'è dalla context-root in giù, ad eccezione della WEB-INF, che è sempre "privata" e riservata alla applicazione.
Quindi NON devi mettere risorse statiche accessibili dai client sotto WEB-INF, e idem per la META-INF.

In Eclipse, per un Dynamic Web Project, la context-root è rappresentata dalla cartella Web Content.

Nelle pagine web che scrivi, se metti un url "relativo" è ovviamente relativo al url che ha il browser della pagina. Senza sapere altro della tua webapp ... non saprei che dirti.
Se vuoi puoi mettere un url assoluto dalla server-root (che comprende il nome del contesto) es "/nomeapp/risorse/xyz.css"
Se sei in una JSP puoi usare il <c:url> di JSTL per specificare un url dalla context-root e ci pensa JSTL ad emettere l'url giusto per il client andando a prendere dinamicamente il nome del contesto.