il problema che devi risolvere non è tanto il ciclo for ma come assegnare ogni volta un nome diverso alla tua jlabel

for (int i:=0;i<=10;i++){
JLabel a=new Jlabel();
}

il problema è che non potrai usare sempre "a", ma dovrà cambiare di volta in volta. nel forum c'è gia stato un post simile tempo fa, prova a cercare