Mettere "INDEX,FOLLOW" (o l'equivalente "ALL") è del tutto superfluo, visto che si tratta del comportamento standard degli spider.

Metterlo serve solo a sciupare caratteri.