L'errore è l'aver usato l'operatore OR invece di AND, devi sostituire "||" con "&&" in entrambe le occorrenze (if e do/while)

A parte questo però richiedere una scelta si/no con una immissione di testo è sbagliato concettualmente per una GUI, dovresti usare:

codice:
int risp = JOptionPane.showConfirmDialog(null, "Vuoi inserire le coordinate dei punti della griglia manualmente?", "Titolo", 
JOptionPane.YES_NO_OPTION);
Ciao.