visto ke mi trovo vi kiedo...

per sapere quando uno spider o robots visita un sito web si deve leggere la servervariables USER_AGENT???

tipo se lo visita goole, la user agent dovrebbe contenere Goolebot al suo interno? oppure sbaglio??