La tua function prodottoscalare() calcolala sum e te lo ritorna ma quando tu lo richiami nel main non lo memorizzi in nessuna variabile.
La variabile int sum non ti serve nella dichiarazione e nel main devi cambiare la chiamata:

prod = prodottoscalare(....);