Male ... abituati ad usarli! JScrollPane per sapere se e di quanto scrollare, normalmente si basa sul "preferred size" del componente da scrollare (a meno che il componente implementi Scrollable, che è ad esempio il caso di JTextArea, JTable e altri componenti "grandi").
Se non c'è un layout manager, allora non c'è un preferred size specifico, che rimane 0x0. Quindi anche se tu metti un componente alla locazione assoluta es. 1000,1000, il tuo JScrollPane non scrolla un bel niente!![]()