Il doppio ciclo allora va bene; nella somma rimetti sum += a[i][j]; (in modo da evitare contorsioni mentali sugli indici); a questo punto, ragiona sui limiti sugli indici dei for: quando sei sulla prima riga devi sommare gli elementi dal secondo all'ultimo, quando sei sulla seconda riga devi sommare dal terzo all'ultimo...