Il fatto è che quando clicco sull'immagine in B.aspx(che correttamente mi si è aperta nella prima fancybox) la fancybox resta delle dimensione della fancybox con id="inline". Io mi aspetterei si allargasse a 1000*1000. E' come se nemmeno ci passasse..come se caricasse semplicemente il link nella fancy già aperta.
La ragione è semplice non puoi aprire una finestra modale piu grande della pagina stessa(in questo caso iframe). E' come se tu volessi aprire una finestra modale di dimensioni maggiori della tua finestra del browser
Inoltre tu non stai andando a modifica l'istanza del fancybox già aperto, ma stai tentando di aprire un'altra finestra modale da un iframe.