allora il resultSet, tu lo hai gia'. Te lo scorri e salvi ogni record dentro un oggetto serializzabile ad hoc e metti questo oggetto in un ArrayList. Faccio un esempio.
Ti scrivi una classe.Mettiamo che la tua queri tiri su dei record con 2 campi.
codice:
import java.io.Serializable;

public class Argomento implements Serializable{
   private int Id;
   private String descrizione;
   
   public Argomento(int Id, String Descr) {
      this.Id=Id;
      this.Descr=Descr;
   }

    public int getId() {
      return Id;
   }

   public String getDescrizione() {
      return descrizione;
   }
}
Nella tua servlet poi
codice:
try {
Connection conn= DriverManager.getConnection(DB_Url);
Statement stmta = conn.createStatement();
ResultSet resu = stmta.executeQuery("SELECT * FROM ARGOMENTI");
ArrayList lista = new ArrayList();    					

while(resu.next()) {
   Argomento argomento = new Argomento(resu.getInt("Id_Argomento"), resu.getString("Descrizione"));
   lista.add(argomento);
}
request.setAttribute("lista", lista); //request e' il parametro del metodo della servlet, non so se  l'hai chiamato cosi'

resu.close();
stmta.close();
conn.close();
}
catch(SQLException ex) 
{
System.err.println("SQLException: " + ex.getMessage()) ;
}
Nella jsp recuperi l'ArrayList facendo
codice:
ArrayList lista = (lista)request.getAttribute("lista");
Per sapere come iterare un ArrayList, dai un'occhiata alle api di java della sun.