il comportamento è più che normale. Se vuoi poter decidere tu la dimensione del componente anziché sia quest'ultimo ad occuparsi di dimensionarsi (ossia, andrà ad occupare tutto lo spazio a disposizione), dovrai settare a null il LayoutManager del JTabbedPane e quindi con setBounds sul JPanel che andrai ad aggiungerci ti sistemi il componente come e dove vuoi.

Cerca qui sul forum, mi pare che se ne sia già parlato.