Attenzione: lo spider non esamina il contenuto delle cartelle del server, ma procede appunto per link: se una pagina è nella root insieme alla index ma non viene mai linkata non verrà mai indicizzata. Per questo il follow o nofollow è importante. Inoltre i link passano rank alle pagine linkate, quindi far contare un link o meno ad un motore fa una differenza abissale!