Non capisco cosa intendi con "comprimente tutto il codice della pagina, tranne questo script esterno".

Sei sicuro che il rallentamento sia lato server e non lato client?

Se rimuovi il tag SCRIPT che carica lo script esterno, che risultato ottieni dal punto di vista delle performance?