setExtendedState() non c'entra nulla. Quello serve a definire il comportamento della finestra (massimizzata, minimizzata, massimizzata orizzontalmente o verticalmente, ecc).

Quello che devi fare è scegliere un LayoutManager e usare opportunamente il setPreferredSize() dei componenti.

Per quello che vuoi ottenere, è sufficiente il BorderLayout. Al WEST metti il JPanel con setPreferredSize() di dimensione fissa, al CENTER metti quello che si deve adattare allo spazio rimanente.


Ciao.