Ciao,
il tag <META NAME="ROBOTS" CONTENT="ALL" > indica espressamente agli spider che "perlustrano" il tuo sito l'intenzione di proseguire dalla home page a tutte le pagine che compongono il dominio.

E' del tutto equivalente a

<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW" > (Cioè scansiona l'home page e segui i links che ne derivano)