Ni.
Mettimao che tu richiami la pagina http://pippo/index.html
Il tuo browser recupera l'idirizzo ip e gli manda la richiesta per il file index.html
La richiesta arriva ad un "applicazione" che decide se girare la richiesta al server A o al server B (server o macchine virtuali poco importa)
Loro rispondo all'applicazione che rigira il risultato a te.
A o B lo decide l'applicazione in base a suoi algoritmi interni, nulla ti vieta di mettere offline A per lavorarci e il bilanciatore girerà tutte le richieste solo a B.