Non puoi farlo scrivendo <input type="file" accept="image/svg, image/svgz">
per il semplice fatto che l'attributo accept del tag input non è supportato da nessuno dei browser moderni, quindi è inutile usarlo.
Non so come si faccia a non permettere la scelta di file generici, credo sia impossibile per lo stesso motivo che ha detto mexican. L'unico consiglio che posso darti è di controllare che il file sia effettivamente image/svg, ovviamente dal lato server.

Ciao