Dovrebbe ma non potrebbe. Non sempre gbot considera il robots.txt, msnbot invece non lo rispetta quasi mai.

Credo che per avere certezze assolute dovresti lavorare lato server e qui cedo la palla a quelli più esperti di me su questo fronte.