Ciao ho fatto un test abbastanza semplice è il problema su excel 2010 non si pone:
codice:
public static void main(String[] args) throws Exception
	{
		BufferedWriter writer = new BufferedWriter(new FileWriter("c:/Temp/out.xls"));
		String toWrite = "55°51'51\" N";
		writer.write(toWrite);
		writer.close();
	}
P.S
Quello che stai facendo non è creare un file excel ma bensi un csv.