Farlo, certo che è possibile. Ma se non trovi una libreria che offre già quel layout, chiaramente lo devi sviluppare tu e non è proprio banale.
Le classi della "UI" riguardano i Look&Feel ed è tutta una parte molto complessa che richiede competenze elevatissime su Swing. Sconsiglio di arrivare a quel livello ... a meno di avere quelle competenze (io ad esempio non le ho a quel livello).
JColorChooser è fatto a "schede" e queste schede sono gestibili banalmente tramite:
void addChooserPanel(AbstractColorChooserPanel panel)
AbstractColorChooserPanel[] getChooserPanels()
AbstractColorChooserPanel removeChooserPanel(AbstractColorChooserPanel panel)
void setChooserPanels(AbstractColorChooserPanel[] panels)
In sostanza, per definire una nuova scheda basta estendere AbstractColorChooserPanel.
C'è anche il panello di "preview", gestibile con:
JComponent getPreviewPanel()
void setPreviewPanel(JComponent preview)