Se il campo num della tabella Calciatori è un campo testo la sintassi corretta per la Query è:
"delete from Calciatori where num=' " & deleteComboBox.SelectedItem & "' "
Nell'ultima parte della query hai inserito qualche virgoletta in più...
il valore dalla combo non mi viene eliminato
è normale, devi utilizzare codice adatto all'eliminazione dell'Item. Ripopoli nuovamente la Combo oppure usi Combo.Items.Remove