Perche' la tua matrice e' allocata come una sequenza di interi in memoria.

In memoria quindi non hai una sequenza di puntatori ma una sequenza di interi ... cosa molto diversa.