Sul un terzo livello di un mio sito ho installato WordPress e nella home ho inserito il file
robots.txt
Questo file contiene le seguenti istruzioni
User-agent: *
Disallow: /tag/
Disallow: /page/
che servono a bloccare all'indicizzazione la cartela tag e la cartella page
Se lancio il comando site mi ritorna una cinquantina di risultati e sotto c'è il link per vedere anche i risultati omessi, ci faccio click e vedo tutta una lista di nomesito/tag/....
Perché![]()