Semplicemente perchè il padding si somma alla larghezza del div, quindi 5+320=325 pertanto non stà più nel contenitore perchè 640+325=965 che non stà nel 960.

Tutto chiaro?