Sul sito consigliano di aggiungere il seguente robot User-agent: Mediapartners-Google* al file robots.txt, con la sintassi che deve indicizzare tutte le pagine. Ma se non lo metto, non è la stessa cosa? il robot di adsense viene e non trovando indicazioni che gli riguardano opera normalmente.
Si, se non lo metti ti indicizza lo stesso.
In generale è sempre bene avere un file robot.txt, anche se vuoto. Quando viene un robot sul sito, chiede sempre al server il file robot.txt. Se non c'è il server è costretto a rispondere con un errore ed a scrivere l'erore sul log di sistema. Se invece c'è, anche se vuoto, si evita la transazione dell'errore (anche se comunque lo spider indicizza comunque) e sia server che spider risparmiano un secondo.
sul robots.txt hai ragione ma mettere o meno il robot di adsense non ha differenza....
Permessi di invio
Rispondi quotando