Ti ho risposto, serve a regolare la velocità di scansione del crawler o bot di google una volta entrato sul tuo server (sito). Se troppo veloce, per un sito con parecchie pagine e risorse ma con poca cpu e ram a disposizione, crasha il server.