Perché annulli il layout dello ScrollPane? Fai saltare tutto...

EDIT: Prova anche a passare il JPanel nel costruttore dello JScrollPane od ad usare il metodo setViewPortView() anziché add(), oppure getViewPort().add()

Ciao