Programmi di quel tipo utilizzano componenti diverse, più complesse.
Se vuoi fare in modo che la tua JTabbedPane visualizzi le icone in modo appropriato devi dimensionarle tu precedentemente utilizzando un apposito programma di grafica, come ti è già stato suggerito da Matteo982.


Ciao.