Impossible is nothing. Ma il possibile e' spesso molto arduo. Java di suo puo leggere i byte che compongono il file, ma ogni file ha un suo formato e java da solo non lo sa decodificare.
Ti troveresti con un accozzaglia di byte con poco o addirittura senza senso (per farti un idea apri un file word e un file pdf con il notepad).
Dovresti usare delle librerie java di terze parti (scriverle da solo e' un'impresa titanica e presuppone una buona conoscenza del formato da leggere).
Per lavorare su pdf ci dovrebbe essere una libreria chiamata iText, ma non l'ho mai usata.
Se ti accontenti di aprire il file con il suo programma predefinito da codice java, la versione java6 lo permette grazie alla classe Desktop.