Ciao, dovresti prima di tutto sapere se il cross domain sul server che vuoi chiamare sia abilitato (almeno dal dominio dove lanci la chiamata). Se cosi' non fosse potresti semplicemente fare una chiamata in ajax su tuo stesso server e fare la chiamata verso quel server col linguaggio lato server che usi (ad esempio con un curl() in PHP). In questo modo il crossdomain non sarà più un problema.
Per capire se la lentezza e' dovuta alla rete/connessione verso altro server puoi fare la stessa chiamata manualmente sul server con stessa url e vedere se c'e' differenza.