Dovrebbe ma non potrebbe. Non sempre gbot considera il robots.txt, msnbot invece non lo rispetta quasi mai.
Credo che per avere certezze assolute dovresti lavorare lato server e qui cedo la palla a quelli più esperti di me su questo fronte.
Dovrebbe ma non potrebbe. Non sempre gbot considera il robots.txt, msnbot invece non lo rispetta quasi mai.
Credo che per avere certezze assolute dovresti lavorare lato server e qui cedo la palla a quelli più esperti di me su questo fronte.