nel primo post hai chiesto un'altra cosa
comunque non è una cosa complicata o un problema specifico del php,
basta che il ciclo parta da $pagina-2 e arrivi a $pagina+2 , tenendo conto però dei casi limite, cioè pag 1 e 2 e come hai già fatto controllare che non si sfori con le pagine a disposizione ($pagine_totali).