Usare un ciclo in questo caso è obbligatorio, ma penso che questo sia il minore dei problemi...
Esempio: se non sai a prescindere il numero dei partecipanti (se non hai fissato un massimo) non puoi sapere quanti campi dovrai aggiungere, quindi faresti bene ad usare uno scrollPane per poter visualizzare tutti i partecipanti.
Poi dovresti pensare a che tipo di layout usare etc.

Se ho capito le tue intenzioni poi vorresti avere dei campi vuoti dove si possano inserire i nomi dei partecipanti.
Per questo puoi usare dei JTextField al posto delle text areas, a meno di non voler avere più righe per partecipante, e non sembra questo il caso...

Intanto chiarisci questi punti e posta quello che hai fatto