il problema e' come posizioni questi quadrati, se sono in posizionamento assoluto senza indicare un left e top sono implicitamente a left e top 0, infatti si trovano dove si trovano per via del margin
quindi scrollerebbe pure, ma a 0 0

se posizioni con questo margin ti dovrai andare a leggere il margin del quadrato non il suo left/top

il problema di logica non e' molto logico, secondo la mia logica