il funzionamento è corretto, non puoi inserire un ordine nella tabella cliente se questo ordine non esiste già nella tabella ordini(la foreign key è utilizzata proprio per questo motivo).

Quello che devi fare è inserire prima la riga nella tabella ordini, la chiave primaria che dovrai inserire è la stessa che verrà inserita come chiave esterna nella tabella cliente.