Se una "pagina con pwd" è stata indicizzata significa che la protezione ... non esisterva.

Ovvero,
a) lo spider di Google è molto "corretto" (rispetta il Robot Exclusion, non spidera dove non può/riesce)
b) uno spideer non può fisicamente superare un blocco di protezione

Se quindi uno spider ha superato una protezione significa che la protezione non c'era o non era efficace.