Robots sono veramente utili?

[betasette]

Scusate una domanda forse sciocca ma...

Serve veramente inserire il <meta name="robots" content="index,follow"> ?

Lo chiedo perchè facendo una rapida ricerca sui principali siti, non mi appare mai nel codice.
Ovviamente mi riferisco ad una piccola nicchia di siti visitata da me, come fiat.
Anche il sito html non lo inserisce.

Se sbaglio perdonatemi, mi sto avvicinando ora all'indicizzazione, e forse ho fatto un po di confusione con tutti i tutorial che sto cercando di leggere .

[fra_975]

Se non lo metti non è che GG o altri motori non passano, ma se lo metti li aiuti...fino a poco tempo fa guardando i file di log di alcuni siti un po incasinati vedevo che capitava che il bot cercava robots.txt e andava in errore perchè non c'era ma ora è un po che non ci guardo quindi non so più se è così