usa i meta tag nelle pagine che ti non vuoi che siano indicizzati se ti serve maggiore precisione...

robots più che altro serve all'esculisione di cartelle