I banner di affiliazione, come tutti i banner, potrebbero rallentare il caricamento della pagina però tu hai detto che hai ottimi punteggi quindi il problema non è quello!

Come puoi fare?

Intanto dovresti convincerti che il contenuto è molto più importante del contenitore... Infatti non hai minimamente parlato della qualità dei contenuti (i tuoi confrontati con quelli della concorrenza).

Poi ci sono anche i backlink (di qualità) e l'anzianità del sito, entrambi fattori fondamentali, ma vedo che hai completamente ignorato anche questi.