La mia opinione/tesi è che google sfrutta questo bot con le estensioni mozilla per individuare più facilmente eventuali redirect o trucchetti vari smascherabili con i vari browser.
Se noti attentamente però, questo bot passa (e non mette in cache nulla) e poi ripassa lo user agent normale a prelevare soltanto ALCUNE pagine di quelle passate dal suo "collega".

Ne ho parlato privatamente con agoago ed è emerso che sia probabilmente un bot spazzino che decida cosa spiderizzare e cosa no (risparmio risorse).