Per il passaggio devi scrivere

x = inner_product(a, b, 5);

Per il ciclo, forse volevi scrivere

codice:
double inner_product(const double *a, const double *b, int n)
{
	int i, j;
	double sum = 0;

	for(i=0; i<n; i++)
		for(j=0; j<n; j++)
			sum += a[i]*b[j];

	return sum;
}
oppure ... ?

Sicuramente non come hai scritto ...